CN113661474A - 基准位置设定方法和操作检测装置 - Google Patents

基准位置设定方法和操作检测装置 Download PDF

Info

Publication number
CN113661474A
CN113661474A CN202080026455.4A CN202080026455A CN113661474A CN 113661474 A CN113661474 A CN 113661474A CN 202080026455 A CN202080026455 A CN 202080026455A CN 113661474 A CN113661474 A CN 113661474A
Authority
CN
China
Prior art keywords
coordinate system
axis
coordinate
sensor
temporary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080026455.4A
Other languages
English (en)
Inventor
望月隆义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murakami Corp
Murakami Co Ltd
Original Assignee
Murakami Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murakami Co Ltd filed Critical Murakami Co Ltd
Publication of CN113661474A publication Critical patent/CN113661474A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1434—Touch panels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

基准位置设定方法包括以下工序：将至少三个标记显示于操作面；获取传感器坐标系的坐标值；将获取到的坐标值变换为临时坐标系的坐标值；以及将变换后的坐标值变换为屏幕坐标系的坐标值。通过对传感器坐标系进行平移和旋转中的至少一方，来将传感器坐标系变换为临时坐标系。通过对临时坐标系进行向与包括第二X轴和第二Y轴的平面平行的方向的移动、以及临时坐标系的放大或缩小，来将临时坐标系变换为屏幕坐标系。

Description

基准位置设定方法和操作检测装置
技术领域
本公开涉及一种用于设定用于检测操作的基准位置的基准位置设定方法和操作检测装置。
背景技术
专利文献1公开了一种用于输入虚拟物体被显示的实际空间内的坐标的空间坐标输入装置。在该空间坐标输入装置中，在操作者的前方设置有投影用于立体显示虚拟物体的图像的屏幕，在操作者的后方设置有用于产生磁场的磁场产生装置，并由操作者持有具有用于检测该磁场的前端部的位置输入装置。位置输入装置是将在前端部检测到磁场的空间坐标输入控制装置的装置。在操作者的周围设置具备3台TV摄像机的光学测定装置。
在前述的空间坐标输入装置中，通过进行使用光学测定装置的光学测量，来校正位置输入装置输入到控制装置的空间坐标与实际空间内的实际坐标之间的对应关系。具体而言，将对透明板赋予了固定间隔的刻度的格子板设置在实际空间内。然后，具有用于图像检测的标识的指示器指示格子板上的多个点，将位置输入装置的前端部配置于该指示器的标识。之后，光学测定装置的3台TV摄像机对指示器进行拍摄，由此求出用于表示指示器的标识的位置的空间坐标值(即，光学坐标值)。并且，位置输入装置的前端部检测磁场，由此将用于表示指示器的标识的位置的空间坐标值(即，磁坐标值)输入到控制装置。之后，空间坐标输入装置求出用于将磁坐标值变换为光学坐标值的4×4矩阵，使用所求出的矩阵来将磁坐标值变换为光学坐标值。
现有技术文献
专利文献
专利文献1：日本特开2000-330709号公报
发明内容
发明要解决的问题
在前述的空间坐标输入装置中，作为用于校正位置输入装置输入到控制装置的空间坐标与实际空间内的实际坐标之间的对应关系的操作，进行使用光学测定装置的校准。然而，在该空间坐标输入装置中，为了进行校准，而需要包括设置在实际空间内的格子板、以及具有用于检测在格子板上进行指示的指示器的标识的3台TV摄像机的光学测定装置的大规模器具。
本公开提供一种不需要用于进行校准的大规模器具从而能够简化装置的结构的基准位置设定方法和操作检测装置。
用于解决问题的方案
本公开所涉及的基准位置设定方法是用于设定用于检测被显示为虚像的操作面上的操作的基准位置的基准位置设定方法。该基准位置设定方法包括以下工序：以至少三个标记形成三角形的顶点的方式将至少三个标记显示于操作面；通过传感器检测接近各标记的对象物，来获取各标记在传感器坐标系中的坐标值，传感器坐标系具有从传感器朝向操作面延伸的第一Z轴、以及与第一Z轴交叉的第一X轴及第一Y轴；将在获取的工序中获取到的各坐标值变换为临时坐标系中的各坐标值，临时坐标系具有在与操作面平行的面中相互交叉的第二X轴和第二Y轴；以及将在变换的工序中变换后的各坐标值变换为屏幕坐标系中的各坐标值，屏幕坐标系具有在操作面中沿与第二X轴平行的方向延伸的第三X轴以及沿与第二Y轴平行的方向延伸的第三Y轴。在变换为临时坐标系中的各坐标值的工序中，通过对传感器坐标系进行平移和旋转中的至少一方，来将传感器坐标系变换为临时坐标系。在变换为屏幕坐标系中的各坐标值的工序中，通过对临时坐标系进行向与包括第二X轴和第二Y轴的平面平行的方向的移动、以及临时坐标系的放大或缩小，来将临时坐标系变换为屏幕坐标系。
本公开所涉及的操作检测装置是设定用于检测被显示为虚像的操作面上的操作的基准位置的操作检测装置。该操作检测装置具备：显示部，其以至少三个标记形成三角形的顶点的方式将至少三个标记显示于操作面；传感器，其通过检测接近各标记的对象物，来获取各标记在传感器坐标系中的坐标值，传感器坐标系具有朝向操作面延伸的第一Z轴、以及与第一Z轴交叉的第一X轴及第一Y轴；第一坐标变换部，其将各标记在传感器坐标系中的坐标值变换为临时坐标系中的各坐标值，临时坐标系具有在与操作面平行的面中相互交叉的第二X轴和第二Y轴；以及第二坐标变换部，其将各标记在临时坐标系中的坐标值变换为屏幕坐标系中的各坐标值，屏幕坐标系具有在操作面中沿与第二X轴平行的方向上延伸的第三X轴以及沿与第二Y轴平行的方向延伸的第三Y轴。第一坐标变换部通过对传感器坐标系进行平移和旋转中的至少一方，来将传感器坐标系变换为临时坐标系。第二坐标变换部通过对临时坐标系进行向与包括第二X轴和第二Y轴的平面平行的方向的移动、以及临时坐标系的放大或缩小，来将临时坐标系变换为屏幕坐标系。
在前述的基准位置设定方法和操作检测装置中，用于设定基准位置的至少三个标记作为虚像显示于操作面。传感器通过检测接近显示于操作面的各标记的对象物，来获取各标记在传感器坐标系中的坐标值。传感器坐标系中的各坐标值在被变换为临时坐标系中的各坐标值之后，被变换为具有位于操作面的第三X轴和第三Y轴的屏幕坐标系中的各坐标值。在此，即使要将显示于操作面的各标记在传感器坐标系中的坐标值直接变换为屏幕坐标系中的各坐标值，也由于用于求出坐标系的变换所需的变换系数矩阵的条件不足，因此无法将传感器坐标系直接变换为屏幕坐标系。在前述的基准位置设定方法和操作检测装置中，通过对传感器坐标系进行平移和旋转中的至少一方，来将传感器坐标系变换为临时坐标系。并且，通过对临时坐标系进行向与包括第二X轴和第二Y轴的平面平行的方向的移动、以及临时坐标系的放大或缩小，来将临时坐标系变换为屏幕坐标系。像这样，在将传感器坐标系变换为临时坐标系的工序、以及将临时坐标系变换为屏幕坐标系的工序的各工序中，分别进行用于进行坐标系的旋转的处理以及用于进行坐标系的放大或缩小的处理。由此，能够满足用于求出坐标系的变换所需的变换系数矩阵的条件，能够分别进行从传感器坐标系向临时坐标系的变换、以及从临时坐标系向屏幕坐标系的变换。其结果，由于各标记在屏幕坐标系中的坐标值是根据各标记在传感器坐标系中的坐标值得到的，因此在进行用于设定基准位置的校准时，不需要用于对各标记在屏幕坐标系中的坐标值进行实际测量的其它测量器具。由此，能够简化装置的结构。在假设使用其它测定器具来对屏幕坐标系中的各坐标值进行实际测量的情况下，由于该测定器具的测定误差等，而有时在坐标系的变换前后各标记的位置关系会破坏。根据前述的基准位置设定方法和操作检测装置，由于根据各标记在传感器坐标系中的坐标值得到各标记在屏幕坐标系中的坐标值，因此在坐标系的变换的前后各标记的位置关系不会破坏。即，能够高精度地求出坐标系的变换所需的变换系数矩阵。因此，能够高精度地将各标记在传感器坐标系中的坐标值变换为屏幕坐标系中的各坐标值，从而能够高精度地进行校准。
也可以是，在变换为临时坐标系中的各坐标值的工序中，将至少三个标记中的一个标记在传感器坐标系中的坐标值设为临时坐标系的原点。在该情况下，临时坐标系中的该一个标记的坐标值的分量为零。由此，能够分别减轻伴随从传感器坐标系向临时坐标系的变换的处理负荷、以及伴随从临时坐标系向屏幕坐标系的变换的处理负荷。
也可以是，在变换为临时坐标系中的各坐标值的工序中，将至少三个标记中的一个标记在传感器坐标系中的坐标值设为临时坐标系的第二X轴上的坐标值，并且将至少三个标记中的另一个标记在传感器坐标系中的坐标值设为临时坐标系的第二Y轴上的坐标值。在该情况下，临时坐标系中的该一个标记的坐标值的第二Y轴的分量为零。并且，临时坐标系中的该另一个标记的坐标值的第二X轴的分量为零。由此，能够分别减轻伴随从传感器坐标系向临时坐标系的变换的处理负荷、以及伴随从临时坐标系向屏幕坐标系的变换的处理负荷。
发明的效果
根据本公开，不需要用于执行校准的大规模器具，从而能够简化装置的结构。
附图说明
图1是示出具备一个实施方式所涉及的操作检测装置的显示装置的立体图。
图2是示出图1的操作检测装置的概要结构图。
图3是用于说明图1的操作检测装置设定基准位置的处理的图。
图4是示出图1的操作检测装置的控制部的功能结构的框图。
图5是用于说明将传感器坐标系变换为临时坐标系的处理的图。
图6是用于说明将临时坐标系变换为屏幕坐标系的处理的图。
图7示出一个实施方式所涉及的基准位置设定方法的一例的流程图。
具体实施方式
下面，参照附图来说明本公开所涉及的基准位置设定方法和操作检测装置的实施方式。在附图的说明中，对相同或相应的要素标注相同的附图标记，并适当省略重复的说明。为了便于理解，将附图的一部分简化或夸大地描绘，尺寸比率等并不限定于附图所记载的尺寸比率。
在本实施方式中，“对象物”是由传感器检测的对象物，且是通过对操作面进行操作来使设备进行动作的对象物。“对象物”例如是用户的手指等棒状物。“操作面”表示能够使设备进行动作的面。“操作面”例如是开关等按钮被显示虚像的平面。“传感器”是用于检测操作部被对象物操作的传感器。“基准位置”是成为用于识别操作面是否***作了的基准的位置。“基准位置”例如是相对于被显示为虚像的操作面的规定的位置。该规定的位置可以是被显示为虚像的操作面本身的位置，也可以是距操作面离开规定距离的位置。
图1是示出具备本实施方式所涉及的操作检测装置2的显示装置1的立体图。显示装置1在车辆与车辆的乘员之间构建HMI(Human Machine Interface：人机接口)。显示装置1例如设置在车辆的左右方向上的中央部。如图1所示，显示装置1具备操作检测装置2和图像显示装置3，操作检测装置2在车辆的前后方向上设置在显示装置1的后侧，图像显示装置3在车辆的前后方向上设置在显示装置1的前侧。操作检测装置2例如设置于显示装置1的平坦部1a，图像显示装置3设置于显示装置1的倾斜部1b。平坦部1a是在显示装置1中沿车辆的前后方向和左右方向这两者延伸的部位。倾斜部1b是从平坦部1a的前侧向斜上方延伸的部位。
操作检测装置2例如将用于使搭载于车辆的各设备(例如车载用后视摄像机或空调)进行动作的操作面5显示为虚像K。操作检测装置2具备用于检测接近操作面5的对象物F(参照图2)的传感器20。操作面5例如是包括能够对车载用后视摄像机进行操作的多个按钮5a的长方形形状的操作平面。“操作平面”表示能够对设备进行操作的平面状的用户界面。操作检测装置2当传感器20检测到对象物F时，基于传感器20检测到的对象物F的位置来检测对象物F对操作面5的操作。操作检测装置2基于检测到的操作来使各设备进行动作。根据操作检测装置2，能够通过对象物F向被显示为虚像K的操作面5的接近来进行各设备的动作，因此不需要物理按钮等。
在本实施方式中，“接近”包括某物与其它物接触的情况、以及某物与其它物接近到规定距离的情况这两者。作为操作的例子，列举出对象物F对操作面5的按下操作、轻击操作或滑动操作等，但操作的种类不特别限定。在本实施方式中，例示对按钮5a的按下操作来作为操作面5的操作。按下操作包括将操作面5的按钮5a按下去的操作、以及将操作面5的按钮5a按上来的操作这两者的操作。
图像显示装置3例如具有显示车辆信息、道路信息以及危险度信息中的至少一者的显示器3a。也可以是，操作检测装置2和图像显示装置3所显示的信息通过设置于显示装置1的声音输出部(未图示)的声音输出来读出。通过使声音输出部的声音输出与操作检测装置2和图像显示装置3的显示进行联动，能够通过视觉和听觉提供进一步可靠的信息。
图2是示出操作检测装置2的概要结构图。如图2所示，操作检测装置2具备显示部10、传感器20以及控制部30。显示部10在空中将操作面5显示为虚像K。显示部10具备作为空中成像元件的AI(Aerial Imaging：空中成像)板(注册商标)11以及液晶面板12。AI板11例如使用专利第4865088号所记载的技术来制作。
液晶面板12例如是PC(个人计算机)、平板终端或移动电话等便携式终端的显示器。液晶面板12基于从控制部30输出的信号来显示图像。AI板11相对于液晶面板12斜地倾斜。液晶面板12所显示的图像通过AI板11相对于AI板11和液晶面板12在用户(对象物F)侧的位置被显示为虚像K。也可以是，AI板11相对于液晶面板12的倾斜角度是可变的。
传感器20例如是深度传感器，隔着操作面5设置在对象物F的相反侧。例如，传感器20设置在将操作面5与对象物F连结的虚拟直线上，即相对于作为虚像K的操作面5设置在正面位置。传感器20获取包括相对于该虚拟直线垂直的面中的对象物F的位置(即，二维位置)的信息、以及对象物F至传感器20的距离D的信息的位置数据。传感器20将获取到的位置数据以规定的周期(例如1/30秒)向控制部30输出。
传感器20例如通过TOF(Time Of Flight：飞行时间)方式，来测定包括对象物F的存在于摄影区域内的物体上的各点与传感器20的距离。在TOF方式中，传感器20计算光线在物体上的各点进行反射后到达传感器20的光线的飞行时间(即，延迟时间)。然后，传感器20根据计算出的飞行时间和光的速度，来测定传感器20与物体上的各点的距离。
控制部30能够与液晶面板12和传感器20进行通信。控制部30例如具备用于执行程序的CPU(Central Processing Unit：中央处理单元)、ROM(Read Only Memory：只读存储器)及RAM(Random Access Memory：随机存取存储器)等存储部、输入输出部以及驱动器。控制部30的各功能通过在CPU的控制下使输入输出部进行动作并进行存储部中的数据的读出及写入来实现。控制部30的方式和配置场所不特别限定。
控制部30例如包括用于判定操作面5是否***作了的判定部30a。判定部30a基于由传感器20检测到的对象物F的位置来进行判定。判定部30a基于从传感器20输入的位置数据，来判定操作面5是否被对象物F进行了操作。判定部30a判定对象物F与传感器20的距离D是否为阈值T以下。在判定为距离D为阈值T以下时，判定部30a判定为对象物F到达了虚拟的判定面6且操作面5被进行了操作。
当判定部30a判定为操作面5被进行了操作时，例如，前述的车载用后视摄像机进行动作。判定面6是在距传感器20的距离为固定的部位形成的虚拟的平面，设置在操作面5的接近位置。在本实施方式中，判定面6的位置与操作面5的位置一致。即，判定面6与操作面5重叠。然而，也可以是，判定面6的位置是距操作面5离开规定距离的位置。
如以上那样构成的操作检测装置2设定成为用于检测对象物F对操作面5的操作的基准的基准位置。该基准位置的设定例如在操作检测装置2的初始动作时或操作检测装置2的维护时被执行。操作检测装置2通过使对象物F接近由显示部10显示的操作面5来设定基准位置。下面，有时将该基准位置的设定称为校准。参照图3、图4、图5以及图6来具体地说明该校准的执行过程。
图3是用于说明操作检测装置2设定基准位置的处理的图。首先，如图3所示，显示部10将三个标记M1、M2以及M3作为虚像K显示于操作面5。然后，用户使对象物F接近被显示于操作面5的三个标记M1、M2以及M3中的各标记。各标记M1、M2以及M3是用于进行校准的基准点，例如呈圆形形状。在本实施方式中，各标记M1、M2以及M3的位置表示各标记M1、M2以及M3的中心点。
各标记M1、M2以及M3在操作面5上被显示在不排列在同一直线上的位置。即，各标记M1、M2以及M3以形成三角形的顶点的方式显示于操作面5。
在本实施方式中，各标记M1、M2以及M3以形成直角三角形的顶点的方式显示于操作面5。标记M1在操作面5上位于用于连接形成直角三角形的直角的两边的顶点。用于连结M1和标记M2的直线与用于连结标记M1和标记M3的直线相互正交。下面，为了便于说明，有时将“标记M1、M2以及M3中的各标记”统称为“标记M”。
当对象物F接近标记M时，通过传感器20检测接近标记M的对象物F的位置来获取标记M的位置作为传感器坐标系C1中的坐标值。传感器坐标系C1是以传感器20的位置为基准的XYZ正交坐标系。传感器坐标系C1在传感器20的位置处具有原点S1，传感器坐标系C1具有相互正交的X1轴(第一X轴)、Y1轴(第一Y轴)以及Z1轴(第一Z轴)。Z1轴从原点S1朝向操作面5延伸。Z1轴所延伸的方向例如是与操作面5垂直的方向。X1轴和Y1轴各自延伸的方向例如是沿与操作面5平行的面的方向。X1轴、Y1轴以及Z1轴各自的单位例如是m(米)。
标记M在传感器坐标系C1中的坐标值被变换为标记M在临时坐标系C2中的坐标值之后，被变换为标记M在屏幕坐标系C3中的坐标值。临时坐标系C2是在将标记M在传感器坐标系C1中的坐标值变换为标记M在屏幕坐标系C3中的坐标值的过程中使用的临时的XYZ正交坐标系。临时坐标系C2在操作面5上具有原点S2，具有相互正交的X2轴(第二X轴)、Y2轴(第二Y轴)以及Z2轴。原点S2的位置例如是被显示在操作面5上的三个标记M1、M2以及M3中的一个位置。在本实施方式中，临时坐标系C2的原点S2的位置是标记M1的位置。
临时坐标系C2的Z2轴从原点S2向传感器20的相反侧延伸。Z2轴所延伸的方向例如是与操作面5垂直的方向，与传感器坐标系C1的Z1轴延伸的方向一致。X2轴和Y2轴位于与操作面5平行的面上。在本实施方式中，该平行的面的位置是与操作面5重叠的位置。X2轴在操作面5上与屏幕坐标系C3的X3轴平行，在操作面5上从X3轴起在与X3轴正交的方向上偏离规定距离。
临时坐标系C2的X2轴在操作面5上通过标记M1和标记M2。即，X2轴位于用于连结标记M1和标记M2的直线上。临时坐标系C2的Y2轴在操作面5上与屏幕坐标系C3的Y3轴平行，在操作面5上从Y3轴起在与Y3轴正交的方向上偏离规定距离。Y2轴在操作面5上通过标记M1和标记M3。即，Y2轴位于用于连结标记M1和标记M3的直线上。
屏幕坐标系C3在操作面5上具有原点S3，具有相互正交的X3轴(第三X轴)、Y3轴(第三Y轴)以及Z3轴。屏幕坐标系C3的原点S3例如位于长方形形状的操作面5的四个顶点中的、被显示在标记M3的附近的顶点(在图3中操作面5的左上顶点)。该顶点是用于连接操作面5的长边5b和短边5c的顶点。Z3轴从原点S3向传感器20的相反侧延伸。Z3轴所延伸的方向例如是与操作面5垂直的方向，与传感器坐标系C1的Z1轴所延伸的方向以及临时坐标系C2的Z2轴所延伸的方向中的各方向一致。X3轴与操作面5的长边5b重叠，Y3轴与操作面5的短边5c重叠。
从标记M在传感器坐标系C1中的坐标值向标记M在临时坐标系C2中的坐标值的变换、以及从标记M在临时坐标系C2中的坐标值向标记M在屏幕坐标系C3中的坐标值的变换是通过控制部30来进行的。图4是示出控制部30的功能结构的框图。如图4所示，控制部30包括第一坐标变换部31和第二坐标变换部32。第一坐标变换部31当从传感器20接收到标记M在传感器坐标系C1中的坐标值时，将标记M在传感器坐标系C1中的坐标值变换为标记M在临时坐标系C2中的坐标值。第二坐标变换部32将标记M在临时坐标系C2中的坐标值变换为标记M在屏幕坐标系C3中的坐标值。
图5是用于说明将标记M在传感器坐标系C1中的坐标值变换为标记M在临时坐标系C2中的坐标值的处理的图。从标记M在传感器坐标系C1中的坐标值向标记M在临时坐标系C2中的坐标值的变换是通过联合仿射变换来进行的。另外，仿射变换是对坐标系进行包括旋转、平移、缩放以及偏斜(即剪切)的处理的变换。在仿射变换的前后保持线性。也就是说，在仿射变换前在坐标系中规定的直线在仿射变换后在坐标系中也不弯曲而保持着直线的状态。联合仿射变换是对坐标系仅进行前述的处理中除缩放和偏斜之外的旋转和平移的变换。上述的“缩放”意味着将坐标系的比例尺进行放大或缩小。
第一坐标变换部31通过对传感器坐标系C1例如进行仅进行旋转和平移的联合仿射变换，来将传感器坐标系C1变换为临时坐标系C2。具体而言，第一坐标变换部31通过对传感器坐标系C1进行平移和旋转中的至少一方，来将传感器坐标系C1变换为临时坐标系C2。上述的平移例如意味着从传感器坐标系C1的原点S1向临时坐标系C2的原点S2的移动。上述的旋转例如意味着以平移前或平移后的传感器坐标系C1的原点S1为中心的旋转。通过对传感器坐标系C1进行上述的平移和旋转中的至少一方，来将传感器坐标系C1变换为具有位于与操作面5平行的面(在本实施方式中与操作面5重叠的面)上的X2轴和Y2轴的临时坐标系C2。
具体地说明从传感器坐标系C1向临时坐标系C2的联合仿射变换。如图3所示，将各标记在M1、M2以及M3传感器坐标系C1中的坐标值设为P1、P2以及P3，将各标记M1、M2以及M3在临时坐标系C2中的坐标值设为Q1、Q2以及Q3。传感器坐标系C1中的各坐标值P1、P2以及P3的分量是通过传感器20检测对象物F来获取的。临时坐标系C2中的各坐标值Q1、Q2以及Q3的分量是根据各坐标值P1、P2以及P3的分量来求出的。
在本实施方式中，临时坐标系C2的原点S2位于标记M1，因此与标记M1对应的坐标值Q1的分量被表示为(0，0，0)。临时坐标系C2的X2轴通过标记M2，因此当将与标记M2对应的坐标值Q2的X2轴的分量设为X2q时，坐标值Q2的分量被表示为(X2q，0，0)。临时坐标系C2的Y2轴通过标记M3，因此当将与标记M3对应的坐标值Q3的Y2轴的分量设为Y2q时，坐标值Q3的分量被表示为(0，Y2q，0)。
第一坐标变换部31根据传感器坐标系C1中的各坐标值P1、P2以及P3的位置关系来求出作为未知数的X2q和Y2q。具体而言，第一坐标变换部31使用下式(1)来求出X2q，使用式(2)来求出Y2q。
[数1]
Figure BDA0003287626580000111
[数2]
Figure BDA0003287626580000112
第一坐标变换部31通过求出X2q和Y2q，来得到临时坐标系C2中的各坐标值Q2和Q3的分量。若求出变换前的传感器坐标系C1中的各坐标值P1、P2及P3、以及变换后的临时坐标系C2中的各坐标值Q1、Q2及Q3，则能够求出用于进行从传感器坐标系C1向临时坐标系C2的联合仿射变换的变换系数矩阵(在后面详述)。第一坐标变换部31通过求出该变换系数矩阵，来将传感器坐标系C1中的各坐标值P1、P2以及P3变换为临时坐标系C2中的各坐标值Q1、Q2以及Q3。
图6是用于说明将各标记M1、M2以及M3在临时坐标系C2中的坐标值Q1、Q2以及Q3变换为各标记M1、M2以及M3在屏幕坐标系C3中的坐标值R1、R2以及R3的处理的图。通过基于第一坐标变换部31的联合仿射变换，来将传感器坐标系C1变换为具有位于操作面5上的X2轴和Y2轴的临时坐标系C2。其结果，临时坐标系C2的原点S2以及屏幕坐标系C3的原点S3都位于操作面5上。因此，不需要针对临时坐标系C2在Z2轴所延伸的方向上进行平移，也不需要将Z2轴进行缩放，以将临时坐标系C2变换为屏幕坐标系C3。
然而，临时坐标系C2的X2轴和Y2轴在操作面5上分别从屏幕坐标系C3的X3轴和Y3轴偏离。因此，需要使X2轴的位置和Y2轴的位置分别与屏幕坐标系C3中的X3轴的位置和Y3轴的位置一致，以将临时坐标系C2变换为屏幕坐标系C3。并且，需要将X2轴和Y2轴分别进行缩放，以使X2轴的比例尺和Y2轴的比例尺分别与X3轴的比例尺和Y3轴的比例尺一致。
因此，第二坐标变换部32通过对临时坐标系C2进行向与包括X2轴和Y2轴的平面平行的方向的移动、以及临时坐标系C2的缩放，来将临时坐标系C2变换为屏幕坐标系C3。例如，在坐标值R1的分量为(100，300，0)且坐标值R2的分量为(700，300，0)的情况下，当将临时坐标系C2的X2轴上的值设为X2、并将屏幕坐标系C3的X3轴上的值设为X3时，从包括坐标值Q2的分量(X2q，0，0)的X2向X3的变换通过使用下式(3)来进行。
[数3]
Figure BDA0003287626580000131
从临时坐标系C2的Y2轴向屏幕坐标系C3的Y3轴的变换也同样地进行。像这样，第二坐标变换部32将临时坐标系C2中的各坐标值Q1、Q2以及Q3变换为屏幕坐标系C3中的各坐标值R1、R2以及R3。
接着，进一步参照图7来说明本实施方式所涉及的基准位置设定方法。图7是示出本实施方式所涉及的基准位置设定方法的一例的流程图。该基准位置设定方法使用操作检测装置2来进行。首先，显示部10在操作面5上显示三个标记M1、M2以及M3(工序W1)。此时，显示部10将三个标记M1、M2以及M3以形成三角形的顶点的方式显示于操作面5(参照图3)。然后，用户使手指等对象物F接近三个标记M1、M2以及M3中的各标记。
当对象物F接近标记M时，传感器20检测对象物F(工序W2)。具体而言，传感器20检测包括传感器20与对象物F的距离D的位置数据，将该位置数据输出到控制部30(参照图2)。当控制部30接收到从传感器20输出的位置数据时，判定部30a判定距离D是否为阈值T以下。然后，判定部30a在判定为距离D为阈值T以下时识别对象物F向标记M接近。判定部30a识别对象物F向标记M接近，由此传感器20进行对象物F的检测。当传感器20检测对象物F时，控制部30获取从传感器20输出的位置数据所包括的、各标记M1、M2以及M3在传感器坐标系C1中的坐标值P1、P2以及P3。
当控制部30获取传感器坐标系C1中的各坐标值P1、P2以及P3时，第一坐标变换部31将传感器坐标系C1中的各坐标值P1、P2以及P3变换为临时坐标系C2中的各坐标值Q1、Q2以及Q3(工序W3)。具体而言，第一坐标变换部31通过对传感器坐标系C1进行仅进行旋转和平移的联合仿射变换，来将传感器坐标系C1中的各坐标值P1、P2以及P3变换为临时坐标系C2中的各坐标值Q1、Q2以及Q3。
在本实施方式中，如图5所示，第一坐标变换部31对传感器坐标系C1进行平移和旋转。第一坐标变换部31进行上述的平移和旋转，由此传感器坐标系C1被变换为具有位于与操作面5平行的面(在本实施方式中与操作面5重叠的面)的X2轴和Y2轴的临时坐标系C2。
接着，第二坐标变换部32将临时坐标系C2中的各坐标值Q1、Q2以及Q3变换为屏幕坐标系C3中的各坐标值R1、R2以及R3(工序W4)。具体而言，第二坐标变换部32通过对临时坐标系C2进行向与包括X2轴和Y2轴的平面平行的方向的移动、以及临时坐标系C2的缩放，来将临时坐标系C2中的各坐标值Q1、Q2以及Q3变换为屏幕坐标系C3中的各坐标值R1、R2以及R3。
如以上那样，第一坐标变换部31将传感器坐标系C1中的各坐标值P1、P2以及P3变换为临时坐标系C2中的各坐标值Q1、Q2以及Q3，第二坐标变换部32将临时坐标系C2中的各坐标值Q1、Q2以及Q3变换为屏幕坐标系C3中的各坐标值R1、R2以及R3。其结果，进行传感器坐标系C1中的各坐标值P1、P2以及P3与屏幕坐标系C3中的各坐标值R1、R2以及R3的关联，并设定用于决定操作面5上的各位置的坐标值的基准位置(工序W5)。然后，一系列的工序完成，从而完成校准。通过完成校准，从而能够将操作检测装置2用于使各设备进行动作。
接着，与仿射变换的问题一起说明本实施方式所涉及的基准位置设定方法和操作检测装置2的作用效果。在对某XYZ正交坐标系进行仿射变换的情况下，当将仿射变换前的坐标值P的分量设为(Xp，Yp，Zp)、并将仿射变换后的坐标值Q的分量设为(Xq，Yq，Zq)时，从坐标值P向坐标值Q的仿射变换根据下式(4)来表示。
[数4]
Figure BDA0003287626580000141
在式(4)中，b是表示XYZ正交坐标系的平移的变换系数矩阵，A是表示XYZ正交坐标系的旋转、缩放以及偏斜的变换系数矩阵。为了进行从坐标值P向坐标值Q的仿射变换，需要求出变换系数矩阵A的各系数(a11，a12，a13，a21，a22，a23，a31，a32，a33)、以及变换系数矩阵b的各系数(b1，b2，b3)。
关于XYZ正交坐标系的X轴、Y轴以及Z轴，分别各存在四个未知数(即，变换系数矩阵A的三个系数以及变换系数矩阵b的一个系数)。因而，若坐标值P与坐标值Q的组合有四组，则能够分别关于X轴、Y轴以及Z轴求出全部未知数。也就是说，若分别获取仿射变换前的四个坐标值P和仿射变换后的四个坐标值Q，则能够求出变换系数矩阵A和b。考虑利用该仿射变换来进行校准。例如，考虑通过将成为基准的四个标记显示在同一平面上，并将表示各标记在某坐标系中的位置的各坐标值P仿射变换为表示各标记在其它坐标系中的位置的各坐标值Q，来进行各坐标值P与各坐标值Q的关联。
然而，即使要进行从位于同一平面(例如包括某坐标系的X轴和Y轴的平面)上的四个坐标值P向四个坐标值Q的仿射变换，也由于Z轴的分量彼此相同，因此用于分别关于X轴、Y轴以及Z轴求出未知数的条件不足。因此，无法求出变换系数矩阵A和b。因而，如前所述，即使要进行从传感器坐标系C1直接仿射变换屏为幕坐标系C3，也由于无法求出变换系数矩阵A和b，因此无法将传感器坐标系C1直接变换为屏幕坐标系C3。
与此相对，在本实施方式所涉及的基准位置设定方法和操作检测装置2中，通过对传感器坐标系C1进行平移和旋转中的至少一方，来进行从传感器坐标系C1向临时坐标系C2的联合仿射变换。并且，通过对临时坐标系C2进行向与包括X2轴和Y2轴的平面平行的方向的移动、以及临时坐标系C2的缩放，来将临时坐标系C2变换为屏幕坐标系C3。即，在将传感器坐标系C1变换为临时坐标系C2的工序W3、以及将临时坐标系C2变换为屏幕坐标系C3的工序W4的各自中，分别进行用于进行坐标系的旋转的处理以及用于进行坐标系的缩放的处理。
像这样，在通过联合仿射变换来进行从传感器坐标系C1向临时坐标系C2的变换之后，使用前述的式(3)来进行缩放等，由此能够进行从临时坐标系C2向屏幕坐标系C3的变换。也就是说，通过进行从传感器坐标系C1向临时坐标系C2的变换、以及从临时坐标系C2向屏幕坐标系C3的变换这两个阶段的变换，能够进行向成为操作面5的操作的基准的屏幕坐标系C3的变换。
如以上那样，由于屏幕坐标系C3中的各坐标值R1、R2以及R3是根据传感器坐标系C1中的各坐标值P1、P2以及P3来得到的，因此在进行校准时，不需要用于实际测量屏幕坐标系C3中的各坐标值R1、R2以及R3的其它测量器具。也就是说，在本实施方式中，用于进行校准的测量器具仅传感器20即可。因此，能够简化装置的结构。
作为使用其它测定器具的情况下的例子，考虑如下方法：使用尺来对屏幕坐标系C3中的各坐标值R1、R2以及R3进行实际测量，并将各坐标值R1、R2以及R3作为常数写入程序。然而，由于对屏幕坐标系C3中的各坐标值R1、R2以及R3进行实际测量的尺的测定误差等，而有时在坐标系的变换前后各标记M1、M2以及M3的位置关系会破坏。
作为各标记M1、M2以及M3的位置关系破坏的其它主要原因，认为是传感器坐标系C1的X1轴的长度与Y1轴的长度之间产生的精度差。用于显示各标记M1、M2以及M3的操作面5通过AI板11来进行显示。在AI板11显示操作面5时，有时也对操作面5进行基于缩放和偏斜的矢量变换。
即使在这样的条件下，根据本实施方式所涉及的基准位置设定方法和操作检测装置2，也由于根据传感器坐标系C1中的各坐标值P1、P2以及P3来得到屏幕坐标系C3中的各坐标值R1、R2以及R3，因此在坐标系的变换前后各标记M1、M2以及M3的位置关系不会破坏。即，能够高精度地求出用于坐标系的变换的变换系数矩阵A和b。因此，能够高精度地将传感器坐标系C1中的各坐标值P1、P2以及P3变换为屏幕坐标系C3中的各坐标值R1、R2以及R3，从而能够高精度地进行校准。
还考虑操作面5的长边方向(即，屏幕坐标系C3的X3轴所延伸的方向)的分辨率与短边方向(即，屏幕坐标系C3的Y3轴所延伸的方向)的分辨率相互不同的情况。然而，根据本实施方式所涉及的基准位置设定方法和操作检测装置2，即使在前述的分辨率的差异存在的情况下，各标记M1、M2以及M3的位置关系也不会破坏。
在本实施方式中，将标记M1在传感器坐标系C1中的坐标值P1设为临时坐标系C2的原点S2。因此，标记M1在临时坐标系C2中的坐标值P1的分量为零。由此，能够分别减轻伴随从传感器坐标系C1向临时坐标系C2的变换的处理负荷、以及伴随从临时坐标系C2向屏幕坐标系C3的变换的处理负荷。
在本实施方式中，将标记M2在传感器坐标系C1中的坐标值P2设为临时坐标系C2的X2轴上的坐标值Q2，并且将标记M3在传感器坐标系C1中的坐标值P3设为临时坐标系C2的Y2轴上的坐标值Q3。因此，临时坐标系C2中的坐标值Q2的Y2轴和Z2轴的各自的分量为零。然后，临时坐标系C2中的坐标值Q3的X2轴和Z2轴的各自的分量为零。由此，能够分别减轻伴随从传感器坐标系C1向临时坐标系C2的变换的处理负荷、以及伴随从临时坐标系C2向屏幕坐标系C3的变换的处理负荷。
以上，说明了本公开所涉及的基准位置设定方法和操作检测装置的实施方式。然而，本公开不限定于前述的实施方式，也可以在不变更各权利要求所记载的主旨的范围内进行变形或者应用于其它方面。例如，基准位置设定方法的各工序的内容及顺序、以及操作检测装置的各部的结构能够在不变更各权利要求的主旨的范围内进行适当变更。
例如，在前述的实施方式中，说明了呈圆形形状的三个标记M1、M2以及M3被显示的例子。然而，标记的数量可以多于三个。标记的形状不特别限定。例如，标记的形状也可以是三角形形状、四边形形状、六边形形状或八边形形状等多边形形状，或者椭圆形形状等长圆形形状。
在前述的实施方式中，说明了传感器坐标系C1、临时坐标系C2以及屏幕坐标系C3分别是正交坐标系的例子。然而，传感器坐标系C1的X1轴、Y1轴以及Z1轴未必需要正交，只要相互交叉即可。同样地，临时坐标系C2的X2轴、Y2轴以及Z2轴只要相互交叉即可，屏幕坐标系C3的X3轴、Y3轴以及Z3轴只要相互交叉即可。在前述的实施方式中，说明了传感器坐标系C1的Z1轴所延伸的方向是与操作面5垂直的方向的例子。然而，Z1轴所延伸的方向也可以是相对于与操作面5垂直的方向倾斜的方向。传感器坐标系C1的X1轴和Y1轴各自所延伸的方向也可以是与操作面5交叉的方向。
在前述的实施方式中，说明了临时坐标系C2的原点S2的位置为标记M1的位置的例子。然而，原点S2的位置可以是操作面5上的除标记M1以外的位置，也可以是操作面5以外的位置。在前述的实施方式中，说明了临时坐标系C2的Z2轴所延伸的方向是与操作面5垂直的方向、且与传感器坐标系C1的Z1轴所延伸的方向一致的例子。然而，临时坐标系C2的Z2轴所延伸的方向也可以是相对于与操作面5垂直的方向倾斜的方向。
在前述的实施方式中，说明了临时坐标系C2的X2轴和Y2轴位于与操作面5平行的面上、且该平行的面的位置是与操作面5重叠的位置的例子。然而，该平行的面的位置也可以是从操作面5偏离的位置。也就是说，X2轴和Y2轴不需要位于操作面5上，也可以从操作面5向Z2轴所延伸的方向偏离。
在前述的实施方式中，说明了临时坐标系C2的X2轴在操作面5上从屏幕坐标系C3的X3轴起在与X3轴正交的方向上偏离规定距离的例子。然而，X2轴可以与X3轴重叠，也可以在操作面5上通过除标记M1和标记M2以外的位置。同样地，临时坐标系C2的Y2轴可以与屏幕坐标系C3的Y3轴重叠，也可以在操作面5上通过除标记M1和标记M3以外的位置。
在前述的实施方式中，说明了屏幕坐标系C3的Z3轴所延伸的方向例如是与操作面5垂直的方向、且分别与传感器坐标系C1的Z1轴所延伸的方向以及临时坐标系C2的Z2轴所延伸的方向一致的例子。然而，Z3轴所延伸的方向也可以是相对于与操作面5垂直的方向倾斜的方向。
在前述的实施方式中，说明了空中成像元件是使像在空中成像的AI板11的例子。然而，空中成像元件例如可以是从用户来看而在跟前侧将全息图等立体虚像进行成像的立体成像元件，也可以是除AI板以外的元件。
在前述的实施方式中，说明了具备显示部10、传感器20以及控制部30的操作检测装置2。然而，能够适当变更显示部、传感器以及控制部的种类、形状、大小、数量、材料以及配置方式。例如，在前述的实施方式中，说明了作为用于检测与对象物F的距离D的深度传感器的传感器20。然而，操作检测装置也可以具备除深度传感器以外的传感器。即，代替传感器，操作检测装置也可以具备红外线传感器或超声波传感器等，能够适当变更传感器的种类。
在前述的实施方式中，说明了传感器20通过TOF方式来测定传感器20与物体上的各点的距离的例子。然而，用于测定传感器与物体上的各点的距离的方式不限定于TOF方式。例如，传感器也可以通过Light Coding(光编码)方式来测定传感器与物体上的各点的距离。在Light Coding方式中，传感器通过随机点图案向包括对象物的存在于的摄影区域内的物体上的各点照射光线。然后，传感器通过接收从物体上的各点反射的光线，并检测反射的光线的图案的失真，来测定传感器与物体上的各点的距离。
操作检测装置也可以搭载于除车辆以外的装置。并且，操作检测装置也可以是将使除车辆以外的各设备进行动作的操作面显示为虚像的装置。基准位置设定方法和操作检测装置也能够应用于除车辆以外的各种设备。基准位置设定方法也可以使用除操作检测装置以外的装置来进行。
附图标记说明
1：显示装置；2：操作检测装置；3：图像显示装置；5：操作面；10：显示部；20：传感器；30：控制部；31：第一坐标变换部；32：第二坐标变换部；C1：传感器坐标系；C2：临时坐标系；C3：屏幕坐标系；F：对象物；K：虚像；M1、M2、M3：标记；P1、P2、P3、Q1、Q2、Q3、R1、R2、R3：坐标值；S1、S2、S3：原点；X1轴：第一X轴；X2轴：第二X轴；X3轴：第三X轴；Y1轴：第一Y轴；Y2轴：第二Y轴；Y3轴：第三Y轴；Z1轴：第一Z轴。

Claims (4)

1.一种基准位置设定方法，用于设定用于检测被显示为虚像的操作面上的操作的基准位置，所述基准位置设定方法包括以下工序：
以至少三个标记形成三角形的顶点的方式将所述至少三个标记显示于所述操作面；
通过传感器检测接近各所述标记的对象物，来获取各所述标记在传感器坐标系中的坐标值，所述传感器坐标系具有从所述传感器朝向所述操作面延伸的第一Z轴、以及与所述第一Z轴交叉的第一X轴及第一Y轴；
将在所述获取的工序中获取到的各所述坐标值变换为临时坐标系中的各坐标值，所述临时坐标系具有在与所述操作面平行的面中相互交叉的第二X轴和第二Y轴；以及
将在所述变换的工序中变换后的各所述坐标值变换为屏幕坐标系中的各坐标值，所述屏幕坐标系具有在所述操作面中沿与所述第二X轴平行的方向延伸的第三X轴以及沿与所述第二Y轴平行的方向延伸的第三Y轴，
其中，在所述变换为临时坐标系中的各坐标值的工序中，通过对所述传感器坐标系进行平移和旋转中的至少一方，来将所述传感器坐标系变换为所述临时坐标系，
在所述变换为屏幕坐标系中的各坐标值的工序中，通过对所述临时坐标系进行向与包括所述第二X轴和第二Y轴的平面平行的方向的移动、以及所述临时坐标系的放大或缩小，来将所述临时坐标系变换为所述屏幕坐标系。
2.根据权利要求1所述的基准位置设定方法，其中，
在所述变换为临时坐标系中的各坐标值的工序中，将所述至少三个标记中的一个标记在所述传感器坐标系中的坐标值设为所述临时坐标系的原点。
3.根据权利要求1或2所述的基准位置设定方法，其中，
在所述变换为临时坐标系中的各坐标值的工序中，将所述至少三个标记中的一个标记在所述传感器坐标系中的坐标值设为所述临时坐标系的所述第二X轴上的坐标值，并且将所述至少三个标记中的另一个标记在所述传感器坐标系中的坐标值设为所述临时坐标系的所述第二Y轴上的坐标值。
4.一种操作检测装置，其设定用于检测被显示为虚像的操作面上的操作的基准位置，所述操作检测装置具备：
显示部，其以至少三个标记形成三角形的顶点的方式将所述至少三个标记显示于所述操作面；
传感器，其通过检测接近各所述标记的对象物，来获取各所述标记在传感器坐标系中的坐标值，所述传感器坐标系具有朝向所述操作面延伸的第一Z轴、以及与所述第一Z轴交叉的第一X轴及第一Y轴；
第一坐标变换部，其将各所述标记在所述传感器坐标系中的坐标值变换为临时坐标系中的各坐标值，所述临时坐标系具有在与所述操作面平行的面中相互交叉的第二X轴和第二Y轴；以及
第二坐标变换部，其将各所述标记在所述临时坐标系中的坐标值变换为屏幕坐标系中的各坐标值，所述屏幕坐标系具有在所述操作面中沿与所述第二X轴平行的方向延伸的第三X轴以及沿与所述第二Y轴平行的方向延伸的第三Y轴，
其中，所述第一坐标变换部通过对所述传感器坐标系进行平移和旋转中的至少一方，来将所述传感器坐标系变换为所述临时坐标系，
所述第二坐标变换部通过对所述临时坐标系进行向与包括所述第二X轴和第二Y轴的平面平行的方向的移动、以及所述临时坐标系的放大或缩小，来将所述临时坐标系变换为所述屏幕坐标系。
CN202080026455.4A 2019-04-10 2020-03-02 基准位置设定方法和操作检测装置 Pending CN113661474A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019074783 2019-04-10
JP2019-074783 2019-04-10
PCT/JP2020/008769 WO2020208974A1 (ja) 2019-04-10 2020-03-02 基準位置設定方法及び操作検出装置

Publications (1)

Publication Number Publication Date
CN113661474A true CN113661474A (zh) 2021-11-16

Family

ID=72751975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080026455.4A Pending CN113661474A (zh) 2019-04-10 2020-03-02 基准位置设定方法和操作检测装置

Country Status (5)

Country Link
US (1) US11662860B2 (zh)
JP (1) JP7431220B2 (zh)
CN (1) CN113661474A (zh)
DE (1) DE112020001834T5 (zh)
WO (1) WO2020208974A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11809134B2 (en) * 2019-06-05 2023-11-07 Cubixel Co., Ltd. Method and apparatus of automatic optical inspection using scanning holography

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011253255A (ja) * 2010-05-31 2011-12-15 Canon Inc 情報処理装置およびその動作方法
CN106125994A (zh) * 2016-06-17 2016-11-16 深圳迪乐普数码科技有限公司 坐标匹配方法及使用该坐标匹配方法的操控方法和终端
CN108398921A (zh) * 2017-02-07 2018-08-14 发那科株式会社 坐标信息变换装置以及计算机可读介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3546756B2 (ja) 1999-05-21 2004-07-28 トヨタ自動車株式会社 空間座標入力装置
WO2009131128A1 (ja) 2008-04-22 2009-10-29 Fujishima Tomohiko 光学結像装置及びそれを用いた光学結像方法
JP6075122B2 (ja) 2013-03-05 2017-02-08 株式会社リコー システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
JP2018055685A (ja) * 2016-09-21 2018-04-05 キヤノン株式会社 情報処理装置、その制御方法、プログラム、および記憶媒体
JP6658809B2 (ja) 2018-07-04 2020-03-04 株式会社ニコン 検出装置、電子機器、検出方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011253255A (ja) * 2010-05-31 2011-12-15 Canon Inc 情報処理装置およびその動作方法
CN106125994A (zh) * 2016-06-17 2016-11-16 深圳迪乐普数码科技有限公司 坐标匹配方法及使用该坐标匹配方法的操控方法和终端
CN108398921A (zh) * 2017-02-07 2018-08-14 发那科株式会社 坐标信息变换装置以及计算机可读介质

Also Published As

Publication number Publication date
JP7431220B2 (ja) 2024-02-14
DE112020001834T5 (de) 2022-01-20
US11662860B2 (en) 2023-05-30
WO2020208974A1 (ja) 2020-10-15
US20220206629A1 (en) 2022-06-30
JPWO2020208974A1 (zh) 2020-10-15

Similar Documents

Publication Publication Date Title
US8564655B2 (en) Three-dimensional measurement method and three-dimensional measurement apparatus
EP3848901A2 (en) Method and apparatus for calibrating external parameters of image acquisition device, device and storage medium
JP4681856B2 (ja) カメラの校正方法及びカメラの校正装置
JP4484863B2 (ja) 拡張現実感システムにおける不正確情報を決定する方法及びシステム
US9607406B2 (en) Size measurement device and size measurement method
US8280151B2 (en) Method for displaying recognition result obtained by three-dimensional visual sensor and three-dimensional visual sensor
CN112654886A (zh) 外参标定方法、装置、设备及存储介质
TW201104508A (en) Stereoscopic form reader
US9633450B2 (en) Image measurement device, and recording medium
JP2012058076A (ja) ３次元計測装置及び３次元計測方法
CN103198286A (zh) 信息处理终端、信息处理方法和程序
JP2023520902A (ja) 走査システム及びその較正
JP7431220B2 (ja) 基準位置設定方法及び操作検出装置
WO2021070415A1 (ja) 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置
WO2021075090A1 (ja) 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置
CN101113891B (zh) 光学式测量装置
EP4283986A1 (en) Electronic apparatus and control method thereof
JP7380661B2 (ja) 投射方法、及び投射システム
JP2006059014A (ja) ３次元ｃａｄデータと測定３次元データの距離算出装置、距離算出方法及び距離算出プログラム
JP2023159484A (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム
US20090033654A1 (en) System and method for visually representing an object to a user
JP6543085B2 (ja) 三次元計測装置、及び三次元計測方法
JP2023125590A (ja) 配筋検査装置、当該配筋検査装置の制御方法、および、配筋検査プログラム
JP5510837B2 (ja) ステレオカメラの配置方法とそのシステム
CN115014202A (zh) 一种线结构光视觉传感器标定方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211116