WO2020054268A1 - 情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラム - Google Patents
情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラム Download PDFInfo
- Publication number
- WO2020054268A1 WO2020054268A1 PCT/JP2019/031019 JP2019031019W WO2020054268A1 WO 2020054268 A1 WO2020054268 A1 WO 2020054268A1 JP 2019031019 W JP2019031019 W JP 2019031019W WO 2020054268 A1 WO2020054268 A1 WO 2020054268A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- robot
- robot hand
- hand
- information processing
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
Definitions
- the present invention relates to an information processing device, a robot hand control system, and a robot hand control program.
- Patent Literature 1 discloses a master-slave type robot hand that can operate in accordance with the movement of a human user's hand. According to such a robot hand, the motion of the user's hand can be roughly reproduced on the robot hand.
- Patent Literature 1 has a size and a structure different from those of an operating human hand, and thus merely transmits an approximate shape such as a gesture.
- it is necessary to manufacture a robot hand having the same hand size and structure as a specific user, which is not practical. That is, there is a demand for a robot hand capable of performing a task having such special skills regardless of the size or structure of the user's hand.
- the present invention has been made in view of such circumstances, and has an information processing apparatus and a robot hand control for realizing a robot hand capable of performing a task having special skills, regardless of the size or structure of a user's hand. It is an object to provide a system and a robot hand control program.
- an information processing device for a robot hand of a robot comprising: an input unit, a calculation unit, and a generation unit, wherein characteristic points in a user's hand are defined as first and second user characteristic points, When the characteristic points in the robot hand corresponding to the first and second user characteristic points are defined as first and second robot characteristic points, the input unit is configured to be able to input information on the first and second user characteristic points.
- the calculation unit calculates a user vector that is a vector between the first and second user feature points in a user coordinate system that is a local coordinate system related to the user's hand, and the generation unit calculates the user vector as the user vector.
- a control signal for the robot hand is generated based on the first and second robot characteristic points.
- Ttobekutoru is a signal for controlling the robot hand to match the user vector, the information processing apparatus is provided.
- the calculation unit calculates a user vector that is a vector between the first and second user feature points in a user coordinate system that is a local coordinate system related to a user's hand, and the generation unit A control signal for the robot hand is generated based on the vector, and the control signal is a signal for controlling the robot hand so that a robot vector, which is a vector between the first and second robot feature points, matches a user vector. It is characterized by.
- FIG. 2 is a functional block diagram of the robot hand control system according to the embodiment.
- FIG. 2A is a schematic diagram showing a human (user) hand mode and FIG. 2B is a robot hand mode.
- FIG. 3A is a view showing a correspondence between a user's hand and a robot hand shown in FIG. 3B when there is no offset.
- FIG. 4A is a diagram showing the correspondence (no offset) when the user's hand is larger than the robot hand in the form of the user's hand and [FIG. 4B] the robot hand.
- FIG. 5A FIG. 5A is a view showing a state of a user's hand and [FIG.
- FIG. 5B a state of a robot hand, showing a corresponding relationship (with offset) when the user's hand is larger than the robot hand.
- FIG. 6A is a view showing a state of a user's hand and [FIG. 6B] a state of a robot hand, showing a correspondence (no offset) when the user's hand is smaller than the robot hand.
- FIG. 7A is a view showing a state of a user's hand and [FIG. 7B] a state of a robot hand, showing a correspondence relationship when the user's hand is smaller than the robot hand (with an offset).
- FIG. 8A is a schematic diagram showing a fingertip coincidence in a global coordinate system between a user and a robot in FIG.
- FIG. 9A is a view of a user's hand and [FIG. 9B] a view of a robot hand, showing a degree of redundancy.
- FIG. 10A is a diagram of a user's hand and [FIG. 10B] a diagram of a robot hand, showing the degree of freedom of redundancy when the directions of the tips of the fingers are matched.
- the term “unit” may include, for example, a combination of hardware resources implemented by circuits in a broad sense and information processing of software that can be specifically realized by these hardware resources.
- various types of information are handled. These pieces of information are represented by a signal value as a binary bit set composed of 0 or 1, and communication / operation is executed on a circuit in a broad sense. Can be done.
- a circuit in a broad sense is a circuit realized by at least appropriately combining a circuit (Circuit), circuits (Circuitry), a processor (Processor), a memory (Memory), and the like. That is, an application-specific integrated circuit (Application Specialized Integrated Circuit: ASIC), a programmable logic device (for example, a Simple Programmable Logic Device: SPLD), a composite programmable logic device (Complex ProgramDragible PD, and a programmable programmable logic device). It includes a programmable gate array (Field Programmable Gate Array: FPGA) and the like.
- ASIC Application Specialized Integrated Circuit
- SPLD Simple Programmable Logic Device
- SPLD Simple Programmable Logic Device
- FPGA Field Programmable Gate Array
- FIG. 1 is a diagram illustrating a schematic configuration of a robot hand control system 1 according to the present embodiment.
- the robot hand control system 1 includes a sensor 2, an information processing device 3, and a robot 4, and is a system in which these are electrically connected.
- the robot hand 41 of the robot 4 accurately reproduces the movement of the user U's hand UH in conjunction therewith. That is, it should be noted that the robot hand 41 is formed based on the shape of a human hand.
- the user U is wearing a head-mounted display 5 (an example of a “display device” in the claims), and visually recognizes an image captured by the camera 42 serving as an eye in the robot 4 as if it were his own. Can do it.
- a head-mounted display 5 an example of a “display device” in the claims
- the sensors 2, the information processing device 3, and the robot 4 will be described in sections 1.1 to 1.3, respectively.
- the sensor 2 is provided in a glove type device (not shown).
- the sensor 2 is configured to be able to acquire the position and movement of each finger in the user U's hand UH.
- an optical type, a magnetic type, an inertial sensor type, an image recognition type motion capture, or the like can be adopted.
- the sensor 2 acquires information (feature information) of some characteristic portion (an example of “first and second user characteristic portions” in the claims) in the hand UH of the user U, and obtains information described later. It is configured to be able to transmit to the processing device 3.
- characteristic portions include, for example, the tip of the first finger Ha of the hand UH (see FIG. 2A / an example of the “first user characteristic portion” in the claims) and the tips of the second to fifth fingers Hb to He ( An example of the “second user characteristic portion” in the claims corresponds to the above.
- the information processing device 3 includes a communication unit 31, a storage unit 32, and a control unit 33 (particularly, an arithmetic unit 331 and a generation unit 332). Connected through.
- a communication unit 31 a communication unit 31, a storage unit 32, and a control unit 33 (particularly, an arithmetic unit 331 and a generation unit 332). Connected through.
- a control unit 33 particularly, an arithmetic unit 331 and a generation unit 332.
- the communication unit 31 is configured to be able to transmit and receive electric signals to and from external devices viewed from the information processing device 3.
- the electric signal can include various information.
- the communication unit 31 is configured to be able to acquire the movement of the hand UH of the user U (the position, posture, and the like of each finger) as information (“information about first and second user characteristic points” in the claims). Such information can be received from the sensor 2 (an example of the “input unit” in the claims).
- the communication format is not particularly limited.
- the communication unit 31 can transmit a control signal to the robot 4 having the robot hand 41 (an example of an “output unit” in the claims). Based on the control signal, the fingers 41a to 41e (see FIG. 2B) of the robot hand 41 of the robot 4 are controlled so as to come to a desired position or to have a desired posture.
- the communication format is not particularly limited.
- wired communication means such as USB, IEEE 1394, Thunderbolt, and wired LAN network communication
- wireless communication means such as wireless LAN network communication, mobile communication such as LTE / 3G, and Bluetooth (registered trademark) communication may be used as necessary.
- the device be configured so as to be connectable to an external device.
- the storage unit 32 stores various programs and the like to be executed by the control unit 33 (described below). This is, for example, as a storage device such as a solid state drive (Solid State Drive: SSD), or a random access memory (Random Access Memory :) that stores temporarily necessary information (arguments, arrays, etc.) related to the operation of the program. RAM) or the like. Also, a combination of these may be used. More specifically, parameters of the operation related to the kinematics or the inverse kinematics, conversion formulas / algorithms, and the like are stored.
- SSD Solid State Drive
- Random Access Memory Random Access Memory
- the control unit 33 performs processing and control of the entire operation related to the information processing device 3.
- the control unit 33 is, for example, a central processing unit (CPU) (not shown).
- the control unit 33 realizes various functions related to the information processing device 3 by reading a predetermined program stored in the storage unit 32. More specifically, the calculation function and the generation function correspond to this. That is, the information processing by software (stored in the storage unit 32) is specifically realized by the hardware (control unit 33), so that the calculation unit 331 having the calculation function and the generation unit 332 having the generation function are formed. Can be performed.
- FIG. 1 shows a single control unit 33, the present invention is not limited to this, and a plurality of control units 33 may be provided for each function. Also, a combination thereof may be used.
- the calculation unit 331 and the generation unit 332 will be described in more detail.
- the arithmetic unit 331 is one in which information processing by software (stored in the storage unit 32) is specifically realized by hardware (control unit 33), and is transmitted from the sensor 2 and received by the communication unit 31. A mathematical operation can be performed on the information on the hand UH of the user U. Further, the calculation unit 331 can execute the calculation of the user coordinate system, which is the local coordinate system for the hand UH of the user U, and the calculation of the robot coordinate system, which is the local coordinate system for the robot hand 41, in a distinguishable manner.
- some features of the hand UH of the user U an example of “first user features” in the claims
- features of the robot hand 41 corresponding to the above-described feature of the hand UH of the user U. It is preferable to make the relative coordinate positions in the local coordinate system coincide with each other in a certain state (initial state) for a position (an example of a “first robot characteristic position” in the claims).
- the characteristic points of the user U and the robot 4 are the tip of the first finger Ha of the hand UH of the user U and the tip of the first finger 41a of the robot hand 41.
- the origin O of the user coordinate system may be set as the wrist Hf of the hand UH
- the origin O of the robot coordinate system may be set as the wrist 41f of the robot hand 41.
- the initial state is, for example, a state in which the fingers Ha to He in the hand UH of the user U or the fingers 41a to 41e in the robot hand 41 are extended.
- the calculation unit 331 previously obtains the position of the first finger Ha of the hand UH of the user U in the initial state and the position of the first finger 41a of the robot hand 41 in the initial state, The difference vector is calculated.
- the difference vector is the difference between the length of the hand UH to the tip of the first finger Ha with respect to the origin O of the user coordinate system and the length of the hand UH to the tip of the first finger 41a of the robot hand 41 with respect to the origin O of the robot coordinate system, that is,
- the difference between the size of the hand UH of the user U and the size of the robot hand 41 of the robot 4 is defined as an offset. If the target position of the first finger 41a of the robot hand 41 is offset during the control, the problem of the movable range due to the individual difference of the hand UH can be solved.
- the calculation unit 331 sets the tip of the first finger Ha as a start point and the tip of the remaining second to fifth fingers Hb to He as end points based on the information on the hand UH of the user U acquired from the sensor 2.
- a vector (an example of a “user vector” in the claims / a parameter having a magnitude and a direction) is calculated.
- the user U can operate the robot 4 as if it were inside the robot 4 or as if it were the robot 4 itself. More specifically, when the user U carries the tip of the first finger Ha to a desired position, the tip of the first finger 41a of the robot hand 41 is carried to the same position in the robot coordinate system. The distance between the tips of the first finger 41a and the second to fifth fingers 41b to 41e exactly matches the distance between the tips of the first finger Ha and the second to fifth fingers Hb to He. Thus, the user U can perform a precise operation or the like while the robot hand 41 has a feeling as if it were the own hand UH.
- the generation unit 332 is one in which information processing by software (stored in the storage unit 32) is specifically realized by hardware (the control unit 33), and the above-described offset (offset processing performed by the calculation unit 331) is performed.
- a control signal for controlling the robot hand 41 is generated based on the coordinate system) and the calculated vector between the fingers. Further, the control signal here is a concept that can include a signal before D / A conversion and a signal after conversion.
- the control signal generated by the generation unit 332 is output to the robot hand 41 via the communication unit 31, and the robot hand 41 is controlled so as to perform a desired operation.
- the robot 4 is a humanoid robot controlled by the information processing device 3.
- the robot 4 includes a robot hand 41 and a camera 42 configured to capture information on the outside world.
- the robot hand 41 is a robot hand formed following a human hand, as shown in FIG. 2B.
- the robot hand 41 includes first to fifth fingers 41a to 41e so as to correspond to the first to fifth fingers Ha to He of the hand UH of the user U.
- the robot hand 41 is controlled by a control signal generated by the generation unit 332 in the information processing device 3.
- the control signal includes the position of the tip of the first finger 41a of the robot hand 41 in the robot coordinate system and information on the second to fifth fingers 41b to 41e (the vector starting from the tip of the first finger 41a as described above). Contains.
- the control method is not particularly limited, for example, P control, PD control, PID control and the like can be appropriately adopted.
- Each coefficient relating to control may be set to a preferable value as needed. Further, the value of the control signal may be defined by a voltage.
- the drive rate for driving the robot hand 41 (the control signal generation rate of the generation unit 332) is high.
- it is 10 Hz or more, preferably 50 Hz or more, and more preferably 250 Hz or more.
- the camera 42 plays the role of the eyes of the robot 4 and is configured to be able to capture visual information of the outside world captured by the robot 4.
- the captured data (video) is configured to be visually recognized online by the user U via the head-mounted display 5.
- the communication between the camera 42 and the head-mounted display 5 is not particularly limited. For example, it may be realized via the communication unit 31 in the information processing device 3, and may have a configuration in which data is directly transferred from the camera 42 to the head mounted display 5.
- FIG. 3A shows the form of the hand UH of the user U
- FIG. 3B shows the form of the robot hand 41, which corresponds to the case where there is no offset. Shows the relationship.
- the vector u_1 starting from the origin O in FIG. 3A and ending at the tip of the first finger Ha
- the vector u_1 starting from the origin O in FIG. It matches the vector v_1 as the end point.
- vectors u_2 to u_5 starting from the tip of the first finger Ha in FIG.
- the user U can see the wrist 41f and the fingers 41a to 41e of the robot hand 41 of the robot 4 via the head mount display 5 in the direction in which the user's wrist Hf and the tips of the fingers Ha to He are viewed. Become.
- FIGS. 4A and 5A show aspects of the hand UH of the user U
- FIGS. 4B and 5B show aspects of the robot hand 41.
- the correspondence when the hand UH is larger than the robot hand 41 is shown.
- the fingers Ha to He of the user U are longer than the fingers 41a to 41e of the robot hand 41, they exceed the movable range of the robot hand 41 as shown in FIGS. 4A and 4B. Therefore, as shown in FIGS. 5A and 5B, the position of the wrist 41f, which is the origin O in the robot coordinate system, is offset to the far side (upward in the figure).
- the vector u_1 starting from the origin O and ending at the tip of the first finger Ha in FIG. 4A does not match the vector v_1 starting from the origin O and ending at the tip of the first finger 41a in FIG. 4B. (Note that the vector v_1 ′ indicated by the dotted line before the offset matches the vector u_1.)
- Vectors v_2 to v_5 starting from the tip of 41a and ending at the tips of the second to fifth fingers 41b to 41e coincide with each other.
- the coordinate positions of the fingers Ha to He in the hand UH of the user U which are the characteristic points, and the robot 4 in the respective global coordinate systems with the human eye UE and the camera 41 as the origins.
- the coordinate positions of the fingers 41a to 41e of the robot hand 41 completely match. More specifically, the vectors u_0 and u_1 in FIG. 8A do not match the vectors v_0 and v_1 in FIG. 8B, but the vector sums u_0 + u_1 and v_0 + v_1 match. In other words, the user U can see the fingers 41a to 41e of the robot hand 41 of the robot 4 via the head mount display 5 in the direction of viewing the tips of the fingers Ha to He.
- FIGS. 6A and 7A show aspects of the hand UH of the user U
- FIGS. 6B and 7B show aspects of the robot hand 41.
- the correspondence when the hand UH is smaller than the robot hand 41 is shown.
- the fingers Ha to He of the user U are shorter than the fingers 41a to 41e of the robot hand 41
- the movable range of the robot hand 41 becomes extremely narrow as shown in FIGS. 6A and 6B. Therefore, as shown in FIGS. 7A and 7B, the position of the wrist 41f, which is the origin O in the robot coordinate system, is offset toward the near side (downward in the figure).
- the vector u_1 starting from the origin O and ending at the tip of the first finger Ha in FIG. 6A does not match the vector v_1 starting from the origin O and ending at the tip of the first finger 41a in FIG. 6B. (Note that the vector v_1 ′ indicated by the dotted line before the offset matches the vector u_1.)
- Vectors v_2 to v_5 starting from the tip of 41a and ending at the tips of the second to fifth fingers 41b to 41e coincide with each other.
- the coordinate positions of the fingers Ha to He in the hand UH of the user U which are the characteristic points, and the robot 4 in the respective global coordinate systems with the human eye UE and the camera 41 as the origins.
- the coordinate positions of the fingers 41a to 41e of the robot hand 41 completely match. More specifically, the vectors u_0 and u_1 in FIG. 8A do not match the vectors v_0 and v_1 in FIG. 8B, but the vector sums u_0 + u_1 and v_0 + v_1 match. In other words, the user U can see the fingers 41a to 41e of the robot hand 41 of the robot 4 via the head mount display 5 in the direction of viewing the tips of the fingers Ha to He.
- a vector having the tip of the first finger Ha of the hand UH of the user U as a start point and the end points of the tips of the second to fifth fingers Hb to He, not limited to the presence or absence of the offset.
- the control is performed so that vectors (robot vectors) starting from the tip of the first finger 41a of the robot hand 41 and ending with the tips of the second to fifth fingers Hb to He are the same.
- the posture of the robot hand 41 does not always match the hand UH and is not uniquely determined. For example, as shown in FIGS.
- the positional relationship between the first finger Ha and the second finger Hb and the positional relationship between the first finger 41a and the second finger 41b may be the same, and the reverse motion may be performed.
- an arbitrary posture is selected from among the redundant degrees of freedom of the robot hand 41 as a whole.
- ⁇ The conditions may be increased within the range of such redundancy degrees of freedom.
- a direction D1 indicated by the tip of the first finger Ha of the hand UH of the user U an example of the “first direction” in the claims
- a direction D2 indicated by the tip of the second finger Hb Patent
- An example of the "second direction” in the claims a direction d1 (an example of the "first direction” in the claims) indicated by the tip of the first finger 41a of the robot hand 41, and the tip of the second finger 41b.
- the pointing direction d2 is matched.
- robot hand control system 1 may be further creatively devised in the following manner.
- the user U can visually recognize information on the outside world captured by the camera 42 of the robot 4 via the head-mounted display 5. May be implemented so that the user U can view it. That is, instead of the actual robot 4, an avatar robot defined in the virtual reality space may be implemented so as to be controllable as described above.
- the control unit 33 in the information processing device 3 functions as a rendering unit (not shown).
- the rendering unit generates computer graphics of the robot hand 4 based on the control signal generated by the generation unit 332. Then, such computer graphics can be displayed on the head mounted display 5.
- the user U can visually recognize the external information captured by the camera 42 of the robot 4 via the head-mounted display 5. May be added. Thereby, the user U can operate the robot hand 41 of the robot 4 while experiencing the augmented reality.
- the tip of the first to fifth fingers Ha to He is selected as an example of the “first and second user characteristic points” in the claims, and the “first and second robots” are selected.
- the tips of the first to fifth fingers 41a to 41e are selected as an example of the "characteristic location", but the present invention is not limited to this example. In fact, since humans mostly use fingertips to perform some kind of work, the above-described selection is preferable. May be implemented.
- the robot hand 41 may include the tip of the first finger 41a and at least one of the second to fifth fingers 41b to 41e opposed thereto.
- the information processing apparatus 3 for realizing the robot hand 41 capable of performing the work having the special skill regardless of the size or the structure of the hand UH of the user U is implemented. can do.
- the information processing device 3 relates to the robot hand 41 of the robot 4 and includes an input unit (communication unit 31), a calculation unit 331, and a generation unit 332, and stores first and second characteristic portions in the hand UH of the user U. Defined as two user characteristic portions (tips of the first finger Ha and the second to fifth fingers Hb to He), and the first and second user characteristic portions (the first finger Ha and the second to fifth fingers Hb to He).
- the input unit communication unit 31
- And information on the first and second user characteristic portions can be input.
- User coordinates that are A user vector that is a vector between the first and second user characteristic portions (tips of the first finger Ha and the second to fifth fingers Hb to He) is calculated, and the generation unit 332 generates the robot hand based on the user vector.
- a control signal for the robot 41 is generated, and the control signal matches a robot vector, which is a vector between the first and second robot features (tips of the first finger 41a and the second to fifth fingers 41b to 41e), with the user vector. This is a signal for controlling the robot hand 41 so as to cause the robot hand 41 to operate.
- the robot hand control system 1 for realizing the robot hand 41 capable of performing a task having a special skill can be implemented regardless of the size or structure of the hand UH of the user U.
- the robot hand control system 1 includes an information processing device 3 and a sensor 2.
- the sensor 2 includes first and second user characteristic portions (tips of the first finger Ha and the second to fifth fingers Hb to He). , And can be transmitted to the information processing device 3.
- a program may be provided as a non-transitory recording medium readable by a computer (information processing device 3), may be provided so as to be downloadable from an external server, or may be provided as an external computer. In such a case, the program may be started to execute so-called cloud computing that can execute each function on the client terminal.
- Such a robot hand control program causes a computer (information processing device 3) to execute an input function, an arithmetic function, and a generation function, and the first and second user characteristic portions (the first finger Ha and the first finger Ha) are operated by the input function.
- the input of the second to fifth fingers Hb to He becomes possible, and the first and second user characteristic portions (first finger Ha and first finger Ha and A user vector, which is a vector between the second to fifth fingers Hb to He, is calculated, and a generation function generates a control signal for the robot hand 41 based on the user vector.
- a robot vector which is a vector between two robot feature points (tips of the first finger 41a and the second to fifth fingers 41b to 41e), is added to the user vector. It is a signal for controlling the robot hand 41 so as to.
- Robot hand control system 2 Sensor 3: Information processing device 30: Communication bus 31: Communication unit 32: Storage unit 33: Control unit 331: Operation unit 332: Generation unit 4: Robot 41: Robot hand 41a: First finger 41b: second finger 41c: third finger 41d: fourth finger 41e: fifth finger 41f: wrist 42: camera 5: head mounted display Ha: first finger Hb: second finger Hc: third finger Hd: fourth Finger He: Fifth finger Hf: Wrist U: User UH: Hand
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
【課題】ユーザの手の大きさや構造に関わらず、特別な技能を有する作業を遂行可能なロボットハンドを実現させるための情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラムを提供すること。 【解決手段】本発明によれば、ロボットにおけるロボットハンドに関する情報処理装置であって、入力部と、演算部と、生成部と備え、ユーザの手における特徴箇所を第1及び第2ユーザ特徴箇所と定義し、前記第1及び第2ユーザ特徴箇所に対応するロボットハンドにおける特徴箇所を第1及び第2ロボット特徴箇所と定義すると、前記入力部は、第1及び第2ユーザ特徴箇所に関する情報を入力可能に構成され、前記演算部は、前記ユーザの手に関するローカル座標系であるユーザ座標系において前記第1及び第2ユーザ特徴箇所間のベクトルであるユーザベクトルを算出し、前記生成部は、前記ユーザベクトルに基づいて前記ロボットハンドに対する制御信号を生成し、前記制御信号は、前記第1及び第2ロボット特徴箇所間のベクトルであるロボットベクトルを前記ユーザベクトルに一致させるように前記ロボットハンドを制御する信号である、情報処理装置が提供される。
Description
本発明は、情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラムに関する。
人間の手は5本の指が器用に動くことにより様々な作業を遂行することができる。しかし、特別な技能(外科手術や楽器の演奏等)に関する器用な人の手の動きは、特定の人にしかできないことが多く、また、それらは暗黙的な身体知である。そのため、専門医や演奏家などの優れた技能は、その人の手の届く範囲でしか実現されず、その技能を他者に教えることも困難である。
それに対して、人間の身体の動きを記録してロボットにその動きを再現させるという技術的アプローチが存在する。例えば、特許文献1には、人間であるユーザの手の動きに合わせて動作可能なマスター・スレーブ式のロボットハンドが開示されている。このようなロボットハンドによれば、ユーザの手の動きをロボットハンドにおおよそ再現させることができる。
しかしながら、特許文献1に開示されているロボットハンドは、操作する人間の手と大きさも構造も異なるため、単にジェスチャー等のおおよその形を伝える程度に過ぎない。仮に前述のような特別な技能を発揮するには、特定のユーザの手の大きさや及び構造と同一のロボットハンドを製作する必要があり、これは現実的ではない。すなわち、ユーザの手の大きさや構造に関わらず、このような特別な技能を有する作業を遂行可能なロボットハンドの実現が望まれている。
本発明は、かかる事情を鑑みてなされたものであり、ユーザの手の大きさや構造に関わらず、特別な技能を有する作業を遂行可能なロボットハンドを実現させるための情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラムを提供することを目的とする。
本発明によれば、ロボットにおけるロボットハンドに関する情報処理装置であって、入力部と、演算部と、生成部と備え、ユーザの手における特徴箇所を第1及び第2ユーザ特徴箇所と定義し、前記第1及び第2ユーザ特徴箇所に対応するロボットハンドにおける特徴箇所を第1及び第2ロボット特徴箇所と定義すると、前記入力部は、第1及び第2ユーザ特徴箇所に関する情報を入力可能に構成され、前記演算部は、前記ユーザの手に関するローカル座標系であるユーザ座標系において前記第1及び第2ユーザ特徴箇所間のベクトルであるユーザベクトルを算出し、前記生成部は、前記ユーザベクトルに基づいて前記ロボットハンドに対する制御信号を生成し、前記制御信号は、前記第1及び第2ロボット特徴箇所間のベクトルであるロボットベクトルを前記ユーザベクトルに一致させるように前記ロボットハンドを制御する信号である、情報処理装置が提供される。
本発明に係る情報処理装置において、演算部は、ユーザの手に関するローカル座標系であるユーザ座標系において第1及び第2ユーザ特徴箇所間のベクトルであるユーザベクトルを算出し、生成部は、ユーザベクトルに基づいてロボットハンドに対する制御信号を生 成し、制御信号は、第1及び第2ロボット特徴箇所間のベクトルであるロボットベクトルをユーザベクトルに一致させるようにロボットハンドを制御する信号であることを特徴とする。このような構成を有する情報処理装置により、ロボットハンドの操縦者であるユーザ自らの手指の動作をロボットハンドに正確に再現させることができる、という効果を奏する。これにより、外科手術や楽器の演奏等の特別な技能を有する作業を遂行可能なロボットハンドの実現が期待されうる。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、0又は1で構成される2進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CLPD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
1.全体構成
第1節では、本実施形態に係るロボットハンド制御システム1の全体構成について説明する。図1は、本実施形態に係るロボットハンド制御システム1の構成概要を示す図である。ロボットハンド制御システム1は、図1に示されるように、センサ2と、情報処理装置3と、ロボット4とからなり、これらが電気的に接続されたシステムである。ユーザUが自身の手UHを動かすと、それに連動してロボット4におけるロボットハンド41がユーザUの手UHの動きを正確に再現する。すなわち、ロボットハンド41は前提として、ヒトの手の形状に倣って形成されたものであることに留意されたい。また、ユーザUはヘッドマウントディスプレイ5(特許請求の範囲における「表示装置」の一例)を装着しており、ロボット4において目の役割をするカメラ42の捕える映像を自身の感覚のように視認することができるものとする。以下、第1.1~1.3節において、センサ2、情報処理装置3、及びロボット4についてそれぞれ説明する。
第1節では、本実施形態に係るロボットハンド制御システム1の全体構成について説明する。図1は、本実施形態に係るロボットハンド制御システム1の構成概要を示す図である。ロボットハンド制御システム1は、図1に示されるように、センサ2と、情報処理装置3と、ロボット4とからなり、これらが電気的に接続されたシステムである。ユーザUが自身の手UHを動かすと、それに連動してロボット4におけるロボットハンド41がユーザUの手UHの動きを正確に再現する。すなわち、ロボットハンド41は前提として、ヒトの手の形状に倣って形成されたものであることに留意されたい。また、ユーザUはヘッドマウントディスプレイ5(特許請求の範囲における「表示装置」の一例)を装着しており、ロボット4において目の役割をするカメラ42の捕える映像を自身の感覚のように視認することができるものとする。以下、第1.1~1.3節において、センサ2、情報処理装置3、及びロボット4についてそれぞれ説明する。
1.1 センサ2
例えば、センサ2は、不図示のグローブ型デバイスに具備されるものである。ユーザUが当該グローブ型デバイスを手UHに装着することで、センサ2は、ユーザUの手UHにおける各指の位置や動きを取得可能に構成される。例えば、光学式、磁気式、慣性センサ式、画像認識式のモーションキャプチャ等を採用することができる。具体的には、センサ2は、ユーザUの手UHにおける何らかの特徴箇所(特許請求の範囲における「第1及び第2ユーザ特徴箇所」の一例)の情報(特徴情報)を取得し、後述の情報処理装置3に送信可能に構成される。かかる特徴箇所は、例えば、手UHにおける第1指Haの先端(図2A参照/特許請求の範囲における「第1ユーザ特徴箇所」の一例)や、第2~第5指Hb~Heの先端(特許請求の範囲における「第2ユーザ特徴箇所」の一例)が該当する。
例えば、センサ2は、不図示のグローブ型デバイスに具備されるものである。ユーザUが当該グローブ型デバイスを手UHに装着することで、センサ2は、ユーザUの手UHにおける各指の位置や動きを取得可能に構成される。例えば、光学式、磁気式、慣性センサ式、画像認識式のモーションキャプチャ等を採用することができる。具体的には、センサ2は、ユーザUの手UHにおける何らかの特徴箇所(特許請求の範囲における「第1及び第2ユーザ特徴箇所」の一例)の情報(特徴情報)を取得し、後述の情報処理装置3に送信可能に構成される。かかる特徴箇所は、例えば、手UHにおける第1指Haの先端(図2A参照/特許請求の範囲における「第1ユーザ特徴箇所」の一例)や、第2~第5指Hb~Heの先端(特許請求の範囲における「第2ユーザ特徴箇所」の一例)が該当する。
1.2 情報処理装置3
情報処理装置3は、通信部31と、記憶部32と、制御部33(特に、演算部331及び生成部332)とを有し、これらの構成要素が情報処理装置3の内部において通信バス30を介して接続されている。以下、各構成要素について更に説明する。
情報処理装置3は、通信部31と、記憶部32と、制御部33(特に、演算部331及び生成部332)とを有し、これらの構成要素が情報処理装置3の内部において通信バス30を介して接続されている。以下、各構成要素について更に説明する。
<通信部31>
通信部31は、情報処理装置3から見た外部機器と電気信号を送受信可能に構成される。当該電気信号は種々の情報を含みうるものである。例えば、通信部31は、ユーザUの手UHの動き(各指の位置、姿勢等)を情報(特許請求の範囲における「第1及び第2ユーザ特徴箇所に関する情報」)として取得可能に構成されるセンサ2から、かかる情報を受信することができる(特許請求の範囲における「入力部」の一例)。通信形式については特に限定されるものではない。一方、通信部31は、ロボットハンド41を有するロボット4に制御信号を送信することができる(特許請求の範囲における「出力部」の一例)。かかる制御信号に基づいて、ロボット4が有するロボットハンド41における各指41a~41e(図2B参照)が所望の位置に来るように、或いは所望の姿勢となるように制御される。こちらも通信形式については特に限定されるものではない。
通信部31は、情報処理装置3から見た外部機器と電気信号を送受信可能に構成される。当該電気信号は種々の情報を含みうるものである。例えば、通信部31は、ユーザUの手UHの動き(各指の位置、姿勢等)を情報(特許請求の範囲における「第1及び第2ユーザ特徴箇所に関する情報」)として取得可能に構成されるセンサ2から、かかる情報を受信することができる(特許請求の範囲における「入力部」の一例)。通信形式については特に限定されるものではない。一方、通信部31は、ロボットハンド41を有するロボット4に制御信号を送信することができる(特許請求の範囲における「出力部」の一例)。かかる制御信号に基づいて、ロボット4が有するロボットハンド41における各指41a~41e(図2B参照)が所望の位置に来るように、或いは所望の姿勢となるように制御される。こちらも通信形式については特に限定されるものではない。
なお、センサ2及びロボット4以外にも様々な外部機器と通信可能に構成されることが好ましい。例えば、USB、IEEE1394、Thunderbolt、有線LANネットワーク通信等といった有線型の通信手段又は、無線LANネットワーク通信、LTE/3G等のモバイル通信、Bluetooth(登録商標)通信等の無線通信手段を必要に応じて有することで、外部機器と接続可能に構成されるとよい。
<記憶部32>
記憶部32は、制御部33(次に説明)が実行するための種々のプログラム等を記憶する。これは、例えばソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、或いは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。また、これらの組合せであってもよい。具体的には、運動学又は逆運動学に係る演算のパラメータや、その変換数式・アルゴリズム等が記憶されている。
記憶部32は、制御部33(次に説明)が実行するための種々のプログラム等を記憶する。これは、例えばソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、或いは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。また、これらの組合せであってもよい。具体的には、運動学又は逆運動学に係る演算のパラメータや、その変換数式・アルゴリズム等が記憶されている。
<制御部33>
制御部33は、情報処理装置3に関連する全体動作の処理・制御を行う。制御部33は、例えば不図示の中央処理装置(Central Processing Unit:CPU)である。制御部33は、記憶部32に記憶された所定のプログラムを読み出すことによって、情報処理装置3に係る種々の機能を実現する。具体的には演算機能や生成機能が該当する。すなわち、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されることで、演算機能を有する演算部331及び生成機能を有する生成部332として実行されうる。なお、図1においては、単一の制御部33として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部33を有するように実施してもよい。またそれらの組合せであってもよい。以下、演算部331及び生成部332について更に詳述する。
制御部33は、情報処理装置3に関連する全体動作の処理・制御を行う。制御部33は、例えば不図示の中央処理装置(Central Processing Unit:CPU)である。制御部33は、記憶部32に記憶された所定のプログラムを読み出すことによって、情報処理装置3に係る種々の機能を実現する。具体的には演算機能や生成機能が該当する。すなわち、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されることで、演算機能を有する演算部331及び生成機能を有する生成部332として実行されうる。なお、図1においては、単一の制御部33として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部33を有するように実施してもよい。またそれらの組合せであってもよい。以下、演算部331及び生成部332について更に詳述する。
[演算部331]
演算部331は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているもので、センサ2から送信され且つ通信部31によって受信したユーザUの手UHに関する情報に数学的な演算を実行可能に構成される。更に、演算部331は、ユーザUの手UHに関するローカル座標系であるユーザ座標系の演算と、ロボットハンド41に関するローカル座標系であるロボット座標系の演算とを区別可能に実施しうる。本実施形態では、ユーザUの手UHにおける何らかの特徴箇所(特許請求の範囲における「第1ユーザ特徴箇所」の一例)と、ロボットハンド41において前述のユーザUの手UHにおける特徴箇所に対応する特徴箇所(特許請求の範囲における「第1ロボット特徴箇所」の一例)とについて、ある規定の状態(初期状態)でそれぞれのローカル座標系での相対的な座標位置を一致させることが好ましい。本実施形態では、ユーザU及びロボット4における特徴箇所とは、ユーザUの手UHの第1指Haの先端及びロボットハンド41の第1指41aの先端である。そして、ユーザ座標系の原点Oを手UHの手首Hfとし、ロボット座標系の原点Oをロボットハンド41の手首41fとして実施すればよい。なお、初期状態とは、例えばユーザUの手UHにおける各指Ha~He又はロボットハンド41における各指41a~41eを伸ばした状態である。
演算部331は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているもので、センサ2から送信され且つ通信部31によって受信したユーザUの手UHに関する情報に数学的な演算を実行可能に構成される。更に、演算部331は、ユーザUの手UHに関するローカル座標系であるユーザ座標系の演算と、ロボットハンド41に関するローカル座標系であるロボット座標系の演算とを区別可能に実施しうる。本実施形態では、ユーザUの手UHにおける何らかの特徴箇所(特許請求の範囲における「第1ユーザ特徴箇所」の一例)と、ロボットハンド41において前述のユーザUの手UHにおける特徴箇所に対応する特徴箇所(特許請求の範囲における「第1ロボット特徴箇所」の一例)とについて、ある規定の状態(初期状態)でそれぞれのローカル座標系での相対的な座標位置を一致させることが好ましい。本実施形態では、ユーザU及びロボット4における特徴箇所とは、ユーザUの手UHの第1指Haの先端及びロボットハンド41の第1指41aの先端である。そして、ユーザ座標系の原点Oを手UHの手首Hfとし、ロボット座標系の原点Oをロボットハンド41の手首41fとして実施すればよい。なお、初期状態とは、例えばユーザUの手UHにおける各指Ha~He又はロボットハンド41における各指41a~41eを伸ばした状態である。
しかし、ユーザUの手UHの大きさは個体差があるため、ユーザUの各指Ha~Heがロボットハンド41の各指41a~41eよりも長い場合、ロボットハンド41の可動範囲を越えてしまう。逆に、ユーザUの各指Ha~Heがロボットハンド41の各指41a~41eよりも短い場合、ロボットハンド41の可動範囲が極端に狭くなることが起こりうる。このような場合に備えて、演算部331は、初期状態におけるユーザUの手UHの第1指Haの位置と、同じく初期状態におけるロボットハンド41の第1指41aの位置を予め求めておき、その差分ベクトルを算出する。かかる差分ベクトルは、ユーザ座標系の原点Oに対する手UHの第1指Haの先端までの長さとロボット座標系の原点Oに対するロボットハンド41の第1指41aの先端までの長さとの差、すなわちユーザUの手UHとロボット4のロボットハンド41の大きさの違いを表しており、これをオフセットとして定義する。そして、制御時にロボットハンド41における第1指41aの目標位置をオフセットさせておけば、前述の手UHの個体差による可動範囲の問題を解決することができる。
更に、演算部331は、センサ2より取得されたユーザUの手UHに関する情報に基づいて、第1指Haの先端を始点とし残りの第2~第5指Hb~Heの先端を終点とするベクトル(特許請求の範囲における「ユーザベクトル」の一例/すなわち大きさと向きを有するパラメータ)を算出する。ロボットハンド41の制御の際に演算部331により算出されたかかるベクトルを、ロボット座標系において対応するロボットハンド41の指間のベクトル(ロボットベクトル)として反映させることで、ユーザUが自己認知する各指Ha~Heの感覚を維持した状態で、ヘッドマウントディスプレイ5を介して誤差なくロボットハンド41を操作することが可能となる。換言すると、ユーザUはあたかもロボット4の中に入っている、あるいは自分自身がロボット4になったような感覚でロボット4を操作することができる。より詳細には、ユーザUが所望の位置に第1指Haの先端を運ぶと、ロボット座標系でも同じ位置にロボットハンド41の第1指41aの先端が運ばれる。そして、第1指41aと第2~第5指41b~41eとの先端の間隔は、第1指Haと第2~第5指Hb~Heとの先端の間隔に正確に一致する。これにより、ユーザUは、ロボットハンド41があたかも自身の手UHのような感覚を有しながら、精密な作業等を実施することができる。
[生成部332]
生成部332は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているもので、前述のオフセット(演算部331によってオフセット処理された座標系)及び算出された指間のベクトルに基づいて、ロボットハンド41を制御するための制御信号を生成する。更にここでいう制御信号とは、D/A変換前のものも変換後のものも含みうる概念である。生成部332によって生成された制御信号が、通信部31を介してロボットハンド41に出力され、ロボットハンド41が所望の動作をなすように制御される。
生成部332は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているもので、前述のオフセット(演算部331によってオフセット処理された座標系)及び算出された指間のベクトルに基づいて、ロボットハンド41を制御するための制御信号を生成する。更にここでいう制御信号とは、D/A変換前のものも変換後のものも含みうる概念である。生成部332によって生成された制御信号が、通信部31を介してロボットハンド41に出力され、ロボットハンド41が所望の動作をなすように制御される。
1.3 ロボット4
ロボット4は、情報処理装置3によって制御されるヒト型のロボットである。特にロボット4は、ロボットハンド41と、外界の情報を撮像可能に構成されるカメラ42とを備える。
ロボット4は、情報処理装置3によって制御されるヒト型のロボットである。特にロボット4は、ロボットハンド41と、外界の情報を撮像可能に構成されるカメラ42とを備える。
<ロボットハンド41>
ロボットハンド41は、図2Bに示されるように、ヒトの手に倣って形成されたロボットハンドである。ロボットハンド41は、ユーザUの手UHが有する第1~第5指Ha~Heに対応するように第1~第5指41a~41eを備える。ロボットハンド41は、情報処理装置3における生成部332によって生成された制御信号によって制御される。かかる制御信号には、ロボットハンド41の第1指41aの先端のロボット座標系における位置や第2~第5指41b~41eの情報(前述の通り第1指41aの先端を始点とするベクトル)を含んでいる。制御手法は特に限定されないが、例えば、P制御、PD制御、PID制御等を適宜採用することができる。制御に係る各係数は、必要に応じて好ましい値を設定すればよい。また制御信号の値は電圧で規定されるとよい。
ロボットハンド41は、図2Bに示されるように、ヒトの手に倣って形成されたロボットハンドである。ロボットハンド41は、ユーザUの手UHが有する第1~第5指Ha~Heに対応するように第1~第5指41a~41eを備える。ロボットハンド41は、情報処理装置3における生成部332によって生成された制御信号によって制御される。かかる制御信号には、ロボットハンド41の第1指41aの先端のロボット座標系における位置や第2~第5指41b~41eの情報(前述の通り第1指41aの先端を始点とするベクトル)を含んでいる。制御手法は特に限定されないが、例えば、P制御、PD制御、PID制御等を適宜採用することができる。制御に係る各係数は、必要に応じて好ましい値を設定すればよい。また制御信号の値は電圧で規定されるとよい。
なおロボットハンド41を駆動させる駆動レート(生成部332の制御信号生成レート)は、高いことが好ましい。例えば、10ヘルツ以上であり、好ましくは、50ヘルツ以上であり、更に好ましくは250ヘルツ以上である。具体的には例えば、10、20、30、40、50、100、150、200、250、300、350、400、450、500、600、700、800、900、1000ヘルツ、またはこれ以上の値であり、ここで例示した数値の何れか2つの間の範囲内であってもよい。
<カメラ42>
カメラ42は、ロボット4の目の役割を果たすものであり、ロボット4が捕える外界の視覚情報を撮像可能に構成される。撮像されたデータ(映像)は、ユーザUがヘッドマウントディスプレイ5を介して、オンラインで視認可能に構成される。このとき、タイムラグが小さいほど、ユーザUがより自然に自己認知を有しながらロボット4を制御することができる。なお、カメラ42とヘッドマウントディスプレイ5との通信は特に限定されるものではない。例えば、情報処理装置3における通信部31を介して実現してもよく、直接的にカメラ42からヘッドマウントディスプレイ5に対してデータが転送されるような構成を有してもよい。
カメラ42は、ロボット4の目の役割を果たすものであり、ロボット4が捕える外界の視覚情報を撮像可能に構成される。撮像されたデータ(映像)は、ユーザUがヘッドマウントディスプレイ5を介して、オンラインで視認可能に構成される。このとき、タイムラグが小さいほど、ユーザUがより自然に自己認知を有しながらロボット4を制御することができる。なお、カメラ42とヘッドマウントディスプレイ5との通信は特に限定されるものではない。例えば、情報処理装置3における通信部31を介して実現してもよく、直接的にカメラ42からヘッドマウントディスプレイ5に対してデータが転送されるような構成を有してもよい。
2.オフセットの例
続いて、前述のロボットハンド制御システム1の演算部331によってなされるオフセット処理の例について説明する。
続いて、前述のロボットハンド制御システム1の演算部331によってなされるオフセット処理の例について説明する。
2.1 手UHとロボットハンド41とが同じ大きさの場合
図3AはユーザUの手UHの態様を示し、図3Bはロボットハンド41の態様を示す図であって、オフセットがない場合の対応関係を示している。かかる場合は、オフセットさせる必要がないので、図3Aにおける原点Oを始点とし且つ第1指Haの先端を終点とするベクトルu_1と、図3Bにおける原点Oを始点とし且つ第1指41aの先端を終点とするベクトルv_1とは一致する。また、オフセットの有無に限らず、図3Aにおける第1指Haの先端を始点とし且つ第2~第5指Hb~Heの先端を終点とするベクトルu_2~u_5と、図3Bにおける第1指41aの先端を始点とし且つ第2~第5指41b~41eの先端を終点とするベクトルv_2~v_5とは一致する。
図3AはユーザUの手UHの態様を示し、図3Bはロボットハンド41の態様を示す図であって、オフセットがない場合の対応関係を示している。かかる場合は、オフセットさせる必要がないので、図3Aにおける原点Oを始点とし且つ第1指Haの先端を終点とするベクトルu_1と、図3Bにおける原点Oを始点とし且つ第1指41aの先端を終点とするベクトルv_1とは一致する。また、オフセットの有無に限らず、図3Aにおける第1指Haの先端を始点とし且つ第2~第5指Hb~Heの先端を終点とするベクトルu_2~u_5と、図3Bにおける第1指41aの先端を始点とし且つ第2~第5指41b~41eの先端を終点とするベクトルv_2~v_5とは一致する。
このような構成により、人の目UE及びカメラ41を原点としたそれぞれのグローバル座標系において、ユーザUの手UHにおける手首Hf(ローカル座標系であるユーザ座標系の原点)及び各指Ha~Heの座標位置と、ロボット4のロボットハンド41における手首41f(ローカル座標系であるロボット座標系の原点)及び各指41a~41eの座標位置とが完全に一致する。より詳細には、図8Aにおけるベクトルu_0(始点が目UE、終点が手首Hf),u_1,u_2~u_5と、図8Bにおけるベクトルv_0(始点がカメラ42、終点が手首41f),v_1,v_2~v_5とがすべて一致する。換言すると、ユーザUにとっては自分の手首Hfや各指Ha~Heの先端を見る方向に、ヘッドマウントディスプレイ5を介してロボット4のロボットハンド41における手首41fや各指41a~41eが見えることとなる。
2.2 手UHがロボットハンド41よりも大きい場合
図4A及び図5AはユーザUの手UHの態様を示し、図4B及び図5Bはロボットハンド41の態様を示す図であって、ユーザUの手UHがロボットハンド41より大きい場合の対応関係を示している。かかる場合は、ユーザUの各指Ha~Heがロボットハンド41の各指41a~41eよりも長いため、図4A及び図4Bに示されるようにロボットハンド41の可動範囲を越えてしまう。そこで、図5A及び図5Bに示されるようにロボット座標系における原点Oである手首41fの位置を奥側(図中上方向)へオフセットさせている。したがって、図4Aにおける原点Oを始点とし且つ第1指Haの先端を終点とするベクトルu_1と、図4Bにおける原点Oを始点とし且つ第1指41aの先端を終点とするベクトルv_1とは一致しない(なお、オフセット前の点線で示されるベクトルv_1’はベクトルu_1と一致)。一方で、オフセットの有無に限らず、図4Aにおける第1指Haの先端を始点とし且つ第2~第5指Hb~Heの先端を終点とするベクトルu_2~u_5と、図4Bにおける第1指41aの先端を始点とし且つ第2~第5指41b~41eの先端を終点とするベクトルv_2~v_5とは一致する。
図4A及び図5AはユーザUの手UHの態様を示し、図4B及び図5Bはロボットハンド41の態様を示す図であって、ユーザUの手UHがロボットハンド41より大きい場合の対応関係を示している。かかる場合は、ユーザUの各指Ha~Heがロボットハンド41の各指41a~41eよりも長いため、図4A及び図4Bに示されるようにロボットハンド41の可動範囲を越えてしまう。そこで、図5A及び図5Bに示されるようにロボット座標系における原点Oである手首41fの位置を奥側(図中上方向)へオフセットさせている。したがって、図4Aにおける原点Oを始点とし且つ第1指Haの先端を終点とするベクトルu_1と、図4Bにおける原点Oを始点とし且つ第1指41aの先端を終点とするベクトルv_1とは一致しない(なお、オフセット前の点線で示されるベクトルv_1’はベクトルu_1と一致)。一方で、オフセットの有無に限らず、図4Aにおける第1指Haの先端を始点とし且つ第2~第5指Hb~Heの先端を終点とするベクトルu_2~u_5と、図4Bにおける第1指41aの先端を始点とし且つ第2~第5指41b~41eの先端を終点とするベクトルv_2~v_5とは一致する。
このようなオフセットも含めた構成により、人の目UE及びカメラ41を原点としたそれぞれのグローバル座標系において、特徴箇所であるユーザUの手UHにおける各指Ha~Heの座標位置と、ロボット4のロボットハンド41における各指41a~41eの座標位置が完全に一致する。より詳細には、図8Aにおけるベクトルu_0,u_1と、図8Bにおけるベクトルv_0,v_1とは一致しないが、ベクトル和u_0+u_1と、v_0+v_1とは一致する。換言すると、ユーザUにとっては自分の各指Ha~Heの先端を見る方向に、ヘッドマウントディスプレイ5を介してロボット4のロボットハンド41における各指41a~41eが見えることとなる。
2.3 手UHがロボットハンド41よりも小さい場合
図6A及び図7AはユーザUの手UHの態様を示し、図6B及び図7Bはロボットハンド41の態様を示す図であって、ユーザUの手UHがロボットハンド41より小さい場合の対応関係を示している。かかる場合は、ユーザUの各指Ha~Heがロボットハンド41の各指41a~41eよりも短いため、図6A及び図6Bに示されるようにロボットハンド41の可動範囲が極端に狭くなる。そこで、図7A及び図7Bに示されるようにロボット座標系における原点Oである手首41fの位置を手前側(図中下方向)へオフセットさせている。したがって、図6Aにおける原点Oを始点とし且つ第1指Haの先端を終点とするベクトルu_1と、図6Bにおける原点Oを始点とし且つ第1指41aの先端を終点とするベクトルv_1とは一致しない(なお、オフセット前の点線で示されるベクトルv_1’はベクトルu_1と一致)。一方で、オフセットの有無に限らず、図6Aにおける第1指Haの先端を始点とし且つ第2~第5指Hb~Heの先端を終点とするベクトルu_2~u_5と、図6Bにおける第1指41aの先端を始点とし且つ第2~第5指41b~41eの先端を終点とするベクトルv_2~v_5とは一致する。
図6A及び図7AはユーザUの手UHの態様を示し、図6B及び図7Bはロボットハンド41の態様を示す図であって、ユーザUの手UHがロボットハンド41より小さい場合の対応関係を示している。かかる場合は、ユーザUの各指Ha~Heがロボットハンド41の各指41a~41eよりも短いため、図6A及び図6Bに示されるようにロボットハンド41の可動範囲が極端に狭くなる。そこで、図7A及び図7Bに示されるようにロボット座標系における原点Oである手首41fの位置を手前側(図中下方向)へオフセットさせている。したがって、図6Aにおける原点Oを始点とし且つ第1指Haの先端を終点とするベクトルu_1と、図6Bにおける原点Oを始点とし且つ第1指41aの先端を終点とするベクトルv_1とは一致しない(なお、オフセット前の点線で示されるベクトルv_1’はベクトルu_1と一致)。一方で、オフセットの有無に限らず、図6Aにおける第1指Haの先端を始点とし且つ第2~第5指Hb~Heの先端を終点とするベクトルu_2~u_5と、図6Bにおける第1指41aの先端を始点とし且つ第2~第5指41b~41eの先端を終点とするベクトルv_2~v_5とは一致する。
このようなオフセットも含めた構成により、人の目UE及びカメラ41を原点としたそれぞれのグローバル座標系において、特徴箇所であるユーザUの手UHにおける各指Ha~Heの座標位置と、ロボット4のロボットハンド41における各指41a~41eの座標位置が完全に一致する。より詳細には、図8Aにおけるベクトルu_0,u_1と、図8Bにおけるベクトルv_0,v_1とは一致しないが、ベクトル和u_0+u_1と、v_0+v_1とは一致する。換言すると、ユーザUにとっては自分の各指Ha~Heの先端を見る方向に、ヘッドマウントディスプレイ5を介してロボット4のロボットハンド41における各指41a~41eが見えることとなる。
3.冗長自由度
前述の通り、オフセットの有無に限らず、ユーザUの手UHの第1指Haの先端を始点とし第2~第5指Hb~Heの先端を終点とするベクトル(ユーザベクトル)と、ロボットハンド41の第1指41aの先端を始点とし第2~第5指Hb~Heの先端を終点とするベクトル(ロボットベクトル)が一致するように制御がなされる。ところで、これらを一致させるという条件において、ロボットハンド41の姿勢が必ずしも手UHに一致するわけではなく、また一意に定まるものではないことに留意されたい。例えば、図9A及び図9Bに示されるように、第1指Ha及び第2指Hbの位置関係と、第1指41a及び第2指41bの位置関係とが一致していればよく、逆運動学を解くことで、全体としてはロボットハンド41が有する冗長自由度の中から任意の姿勢が選択されることとなる。
前述の通り、オフセットの有無に限らず、ユーザUの手UHの第1指Haの先端を始点とし第2~第5指Hb~Heの先端を終点とするベクトル(ユーザベクトル)と、ロボットハンド41の第1指41aの先端を始点とし第2~第5指Hb~Heの先端を終点とするベクトル(ロボットベクトル)が一致するように制御がなされる。ところで、これらを一致させるという条件において、ロボットハンド41の姿勢が必ずしも手UHに一致するわけではなく、また一意に定まるものではないことに留意されたい。例えば、図9A及び図9Bに示されるように、第1指Ha及び第2指Hbの位置関係と、第1指41a及び第2指41bの位置関係とが一致していればよく、逆運動学を解くことで、全体としてはロボットハンド41が有する冗長自由度の中から任意の姿勢が選択されることとなる。
かかる冗長自由度の範囲で、条件を増やしてもよい。図10A及び図10Bでは、ユーザUの手UHの第1指Haの先端の指す方向D1(特許請求の範囲における「第1方向」の一例)及び第2指Hbの先端の指す方向D2(特許請求の範囲における「第2方向」の一例)と、ロボットハンド41の第1指41aの先端の指す方向d1(特許請求の範囲における「第1方向」の一例)及び第2指41bの先端の指す方向d2(特許請求の範囲における「第2方向」の一例)とを一致させている。かかる場合は、センサ2から各指Ha~Heの先端以外の特徴箇所(各指Ha~Heの先端からその遠位指節間関節までの何れか部位)の情報を取得すればよい。かかる情報を用いてロボットハンド41を制御することで、各指の先端の指す方向をユーザUにおける手UHと、ロボットハンド41とで一致させることができる。もちろん、かかる場合であっても、逆運動学を解くことで、全体としてはロボットハンド41が有する冗長自由度の中から任意の姿勢が選択されることとなる。
4.変形例
なお、次のような態様によって、本実施形態に係るロボットハンド制御システム1を更に創意工夫してもよい。
なお、次のような態様によって、本実施形態に係るロボットハンド制御システム1を更に創意工夫してもよい。
第一に、前述の実施形態は、ユーザUがヘッドマウントディスプレイ5を介してロボット4におけるカメラ42が捕える外界の情報を視認することができるものであるが、これに代えてバーチャルリアリティ空間の映像をユーザUが視認可能に実施してもよい。すなわち、実際のロボット4に代えて、バーチャルリアリティ空間上に規定されるアバターロボットを前述のように制御可能に実施してもよい。かかる場合は、情報処理装置3における制御部33が、不図示のレンダリング部として機能することとなる。かかるレンダリング部は、生成部332によって生成された制御信号に基づいてロボットハンド4のコンピュータグラフィックスを生成する。そして、かかるコンピュータグラフィックスがヘッドマウントディスプレイ5に表示されうる。
第二に、前述の実施形態は、ユーザUがヘッドマウントディスプレイ5を介してロボット4におけるカメラ42が捕える外界の情報を視認することができるものであるが、これにバーチャルリアリティ空間としてのなんらかの情報を付加可能に実施してもよい。これにより、ユーザUが拡張現実感を体感しながら、ロボット4におけるロボットハンド41を操作することができる。
第三に、前述の実施形態では、特許請求の範囲における「第1及び第2ユーザ特徴箇所」の一例として第1~第5指Ha~Heの先端を選択し、「第1及び第2ロボット特徴箇所」の一例として第1~第5指41a~41eの先端を選択したが、当該例に限られるものではない。実際、人間がなんらかの作業を行う上で、指先を用いることがほとんどであるため、前述のような選択が好ましいが、例えば、指先以外を用いて行う作業であれば、それに合わせた特徴箇所の選択を実施してもよい。
第四に、前述の実施形態では、ヒトの手に倣った5指のロボットハンド41について説明をしたが、当該例に拘泥されるものではない。例えば、第1指41aの先端と、これに対向する第2指~第5指41b~41eの少なくとも1本とから構成されるロボットハンド41であってもよい。
5.結言
以上のように、本実施形態によれば、ユーザUの手UHの大きさや構造に関わらず、特別な技能を有する作業を遂行可能なロボットハンド41を実現させるための情報処理装置3を実施することができる。
以上のように、本実施形態によれば、ユーザUの手UHの大きさや構造に関わらず、特別な技能を有する作業を遂行可能なロボットハンド41を実現させるための情報処理装置3を実施することができる。
かかる情報処理装置3は、ロボット4におけるロボットハンド41に関するもので、入力部(通信部31)と、演算部331と、生成部332と備え、ユーザUの手UHにおける特徴箇所を第1及び第2ユーザ特徴箇所(第1指Ha及び第2~第5指Hb~Heの先端)と定義し、第1及び第2ユーザ特徴箇所(第1指Ha及び第2~第5指Hb~Heの先端)に対応するロボットハンド41における特徴箇所を第1及び第2ロボット特徴箇所(第1指41a及び第2~第5指41b~41eの先端)と定義すると、入力部(通信部31)は、第1及び第2ユーザ特徴箇所(第1指Ha及び第2~第5指Hb~Heの先端)に関する情報を入力可能に構成され、演算部331は、ユーザUの手UHに関するローカル座標系であるユーザ座標系において第1及び第2ユーザ特徴箇所(第1指Ha及び第2~第5指Hb~Heの先端)間のベクトルであるユーザベクトルを算出し、生成部332は、ユーザベクトルに基づいてロボットハンド41に対する制御信号を生成し、制御信号は、第1及び第2ロボット特徴箇所(第1指41a及び第2~第5指41b~41eの先端)間のベクトルであるロボットベクトルをユーザベクトルに一致させるように前記ロボットハンド41を制御する信号である。
また、ユーザUの手UHの大きさや構造に関わらず、特別な技能を有する作業を遂行可能なロボットハンド41を実現させるためのロボットハンド制御システム1を実施することができる。
かかるロボットハンド制御システム1は、情報処理装置3と、センサ2とを備え、センサ2は、第1及び第2ユーザ特徴箇所(第1指Ha及び第2~第5指Hb~Heの先端)に関する情報を取得し、且つ情報処理装置3へ送信可能に構成される。
また、ユーザUの手UHの大きさや構造に関わらず、特別な技能を有する作業を遂行可能なロボットハンド41をハードウェアとして実施するためのソフトウェアを、プログラムとして実施することもできる。そして、このようなプログラムを、コンピュータ(情報処理装置3)が読み取り可能な非一時的な記録媒体として提供してもよいし、外部のサーバからダウンロード可能に提供してもよいし、外部のコンピュータで当該プログラムを起動させて、クライアント端末で各機能を実施可能な、いわゆるクラウド・コンピューティングを実施してもよい。
かかるロボットハンド制御プログラムは、コンピュータ(情報処理装置3)に入力機能と、演算機能と、生成機能とを実行させるもので、入力機能によって、第1及び第2ユーザ特徴箇所(第1指Ha及び第2~第5指Hb~Heの先端)が入力可能となり、演算機能によって、ユーザUの手UHに関するローカル座標系であるユーザ座標系において第1及び第2ユーザ特徴箇所(第1指Ha及び第2~第5指Hb~Heの先端)間のベクトルであるユーザベクトルが算出され、生成機能によって、ユーザベクトルに基づいてロボットハンド41に対する制御信号が生成され、制御信号は、第1及び第2ロボット特徴箇所(第1指41a及び第2~第5指41b~41eの先端)間のベクトルであるロボットベクトルをユーザベクトルに一致させるように前記ロボットハンド41を制御する信号である。
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 :ロボットハンド制御システム
2 :センサ
3 :情報処理装置
30 :通信バス
31 :通信部
32 :記憶部
33 :制御部
331 :演算部
332 :生成部
4 :ロボット
41 :ロボットハンド
41a :第1指
41b :第2指
41c :第3指
41d :第4指
41e :第5指
41f :手首
42 :カメラ
5 :ヘッドマウントディスプレイ
Ha :第1指
Hb :第2指
Hc :第3指
Hd :第4指
He :第5指
Hf :手首
U :ユーザ
UH :手
2 :センサ
3 :情報処理装置
30 :通信バス
31 :通信部
32 :記憶部
33 :制御部
331 :演算部
332 :生成部
4 :ロボット
41 :ロボットハンド
41a :第1指
41b :第2指
41c :第3指
41d :第4指
41e :第5指
41f :手首
42 :カメラ
5 :ヘッドマウントディスプレイ
Ha :第1指
Hb :第2指
Hc :第3指
Hd :第4指
He :第5指
Hf :手首
U :ユーザ
UH :手
Claims (11)
- ロボットにおけるロボットハンドに関する情報処理装置であって、
入力部と、演算部と、生成部と備え、
ユーザの手における特徴箇所を第1及び第2ユーザ特徴箇所と定義し、前記第1及び第2ユーザ特徴箇所に対応するロボットハンドにおける特徴箇所を第1及び第2ロボット特徴箇所と定義すると、
前記入力部は、第1及び第2ユーザ特徴箇所に関する情報を入力可能に構成され、
前記演算部は、前記ユーザの手に関するローカル座標系であるユーザ座標系において前記第1及び第2ユーザ特徴箇所間のベクトルであるユーザベクトルを算出し、
前記生成部は、前記ユーザベクトルに基づいて前記ロボットハンドに対する制御信号を生成し、前記制御信号は、前記第1及び第2ロボット特徴箇所間のベクトルであるロボットベクトルを前記ユーザベクトルに一致させるように前記ロボットハンドを制御する信号である、
情報処理装置。 - 請求項1に記載の情報処理装置において、
前記ユーザの手又は前記ロボットハンドにおける規定の状態を初期状態と定義すると、
前記演算部は、
前記ユーザ座標系において前記第1ユーザ特徴箇所の座標位置、及びロボットハンドに関するローカル座標系であるロボット座標系において前記第1ロボット特徴箇所の座標位置を算出し、且つ
前記第1ユーザ特徴箇所の座標位置と前記第1ロボット特徴箇所の座標位置との差分をオフセットとして算出し、
前記生成部は、前記オフセットに基づいて前記ロボットハンドに対する前記制御信号を生成する、
情報処理装置。 - 請求項2に記載の情報処理装置において、
前記ユーザ座標系及び前記ロボット座標系の原点位置は、前記ユーザの手及び前記ロボットハンドにおける手首の位置であり、
前記初期状態は、前記ユーザの手及び前記ロボットハンドにおける各指を伸ばした状態である、
情報処理装置。 - 請求項2又は請求項3に記載の情報処理装置において、
前記ユーザの目及び前記ロボットが有するカメラを原点位置とするグローバル座標系を前記ユーザ及び前記ロボットに対してそれぞれ定義すると、前記第1及び第2ユーザ特徴箇所及び前記第1及び第2ロボット特徴箇所の座標位置がそれぞれのグローバル座標系において一致する、
情報処理装置。 - 請求項1~請求項4の何れか1つに記載の情報処理装置において、
前記第1ユーザ特徴箇所は前記ユーザの第1指先端であり、前記第2ユーザ特徴箇所は前記ユーザの第2~第5指の少なくとも何れかの先端であり、
前記ロボットハンドは、ヒトの手に倣った形状のロボットハンドであり、且つ
前記第1ロボット特徴箇所は前記ロボットハンドの第1指先端であり、前記第2ロボット特徴箇所は前記ロボットハンドの第2~第5指の少なくとも何れかの先端である、
情報処理装置。 - 請求項5に記載の情報処理装置において、
前記第1指先端の指す方向を第1方向と定義し、前記第2~5指の少なくとも何れかの先端の指す方向を第2方向と定義すると、
前記演算部は、前記ユーザにおける前記第1及び第2方向を算出可能に構成され、
前記制御信号は、前記ユーザにおける前記第1及び第2方向と前記ロボットハンドにおける前記第1及び第2方向とを一致させるように前記ロボットハンドを制御する信号である、
情報処理装置。 - 請求項6に記載の情報処理装置において、
前記入力部は、
前記ユーザの前記第1指先端及びその遠位指節間関節間の何れか部位を特徴箇所として入力可能に構成され、且つ
前記ユーザの前記第2~5指の少なくとも何れかの先端及びその遠位指節間関節間の何れか部位を特徴箇所として入力可能に構成され、
前記演算部は、前記入力部を介して入力された前記特徴箇所に基づいて、前記ユーザにおける前記第1及び第2方向を算出可能に構成される、
情報処理装置。 - ロボットハンド制御システムであって、
請求項1~請求項7の何れか1つに記載の情報処理装置と、センサとを備え、
前記センサは、
前記第1及び第2ユーザ特徴箇所に関する情報を取得し、且つ
前記情報処理装置へこれを送信可能に構成される、
ロボットハンド制御システム。 - 請求項8に記載のロボットハンド制御システムにおいて、
ロボットハンドを更に備え、
前記情報処理装置は、前記制御信号を前記ロボットハンドに出力可能に構成される出力部を備え、
前記ロボットハンドは、前記出力部より受信した前記制御信号に基づいて動作するように構成される、
ロボットハンド制御システム。 - 請求項8又は請求項9に記載のロボットハンド制御システムにおいて、
前記情報処理装置は、レンダリング部を備え、
前記レンダリング部は、前記制御信号に基づいて前記ロボットハンドのコンピュータグラフィックスを生成可能に構成され、
前記コンピュータグラフィックスを表示可能な表示装置を更に備える、
ロボットハンド制御システム。 - ロボットハンド制御プログラムであって、
コンピュータに入力機能と、演算機能と、生成機能とを実行させるもので、
ユーザの手における特徴箇所を第1及び第2ユーザ特徴箇所と定義し、前記第1及び第2ユーザ特徴箇所に対応するロボットハンドにおける特徴箇所を第1及び第2ロボット特徴箇所と定義すると、
前記入力機能によって、第1及び第2ユーザ特徴箇所に関する情報が入力可能となり、
前記演算機能によって、前記ユーザの手に関するローカル座標系であるユーザ座標系において前記第1及び第2ユーザ特徴箇所間のベクトルであるユーザベクトルが算出され、
前記生成機能によって、前記ユーザベクトルに基づいて前記ロボットハンドに対する制御信号が生成され、前記制御信号は、前記第1及び第2ロボット特徴箇所間のベクトルであるロボットベクトルを前記ユーザベクトルに一致させるように前記ロボットハンドを制御する信号である、
ロボットハンド制御プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-172026 | 2018-09-14 | ||
JP2018172026A JP7248271B2 (ja) | 2018-09-14 | 2018-09-14 | 情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020054268A1 true WO2020054268A1 (ja) | 2020-03-19 |
Family
ID=69777247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/031019 WO2020054268A1 (ja) | 2018-09-14 | 2019-08-07 | 情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7248271B2 (ja) |
WO (1) | WO2020054268A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0557637A (ja) * | 1991-08-30 | 1993-03-09 | Nippon Telegr & Teleph Corp <Ntt> | ロボツトハンドのマスタ・スレーブ対応動作制御装置 |
WO2011065034A1 (ja) * | 2009-11-24 | 2011-06-03 | 株式会社豊田自動織機 | ロボットの動作を制御する方法およびロボットシステム |
US20150025547A1 (en) * | 2010-03-18 | 2015-01-22 | SPI Surgical, Inc. | Surgical cockpit comprising multisensory and multimodal interface for robotic surgery and methods related thereto |
JP2015186651A (ja) * | 2009-11-13 | 2015-10-29 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 低侵襲外科システムにおいて手の存在を検出するための方法およびシステム |
WO2017115425A1 (ja) * | 2015-12-28 | 2017-07-06 | オリンパス株式会社 | 医療用マニピュレータシステム |
-
2018
- 2018-09-14 JP JP2018172026A patent/JP7248271B2/ja active Active
-
2019
- 2019-08-07 WO PCT/JP2019/031019 patent/WO2020054268A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0557637A (ja) * | 1991-08-30 | 1993-03-09 | Nippon Telegr & Teleph Corp <Ntt> | ロボツトハンドのマスタ・スレーブ対応動作制御装置 |
JP2015186651A (ja) * | 2009-11-13 | 2015-10-29 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 低侵襲外科システムにおいて手の存在を検出するための方法およびシステム |
WO2011065034A1 (ja) * | 2009-11-24 | 2011-06-03 | 株式会社豊田自動織機 | ロボットの動作を制御する方法およびロボットシステム |
US20150025547A1 (en) * | 2010-03-18 | 2015-01-22 | SPI Surgical, Inc. | Surgical cockpit comprising multisensory and multimodal interface for robotic surgery and methods related thereto |
WO2017115425A1 (ja) * | 2015-12-28 | 2017-07-06 | オリンパス株式会社 | 医療用マニピュレータシステム |
Also Published As
Publication number | Publication date |
---|---|
JP2020044581A (ja) | 2020-03-26 |
JP7248271B2 (ja) | 2023-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10817795B2 (en) | Handstate reconstruction based on multiple inputs | |
US20200249654A1 (en) | Robotic control via a virtual world simulation | |
US20200046439A1 (en) | Detection of unintentional movement of a user interface device | |
JP6678832B2 (ja) | 遠隔制御マニピュレータシステムおよび制御装置 | |
Lu et al. | Immersive manipulation of virtual objects through glove-based hand gesture interaction | |
JP5974668B2 (ja) | マニピュレーションシステム | |
US10976863B1 (en) | Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user | |
US20200201460A1 (en) | Universal Handheld Controller of a Computer System | |
EP3797931B1 (en) | Remote control system, information processing method, and program | |
CN110549353B (zh) | 力觉视觉化装置、机器人以及存储力觉视觉化程序的计算机可读介质 | |
JP7035309B2 (ja) | マスタスレーブシステム | |
CN114503057A (zh) | 基于图像和惯性测量单元两者的取向确定 | |
KR20200051938A (ko) | 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 vr 시스템 | |
Gholami et al. | Quantitative physical ergonomics assessment of teleoperation interfaces | |
JP2005046931A (ja) | ロボットアーム・ハンド操作制御方法、ロボットアーム・ハンド操作制御システム | |
JP2007125670A (ja) | ロボット用表現動作変換システム | |
CN110363841B (zh) | 一种虚拟驾驶环境中手部运动跟踪方法 | |
WO2020054268A1 (ja) | 情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラム | |
Ficuciello et al. | A Human Gesture Mapping Method to Control a Multi‐Functional Hand for Robot‐Assisted Laparoscopic Surgery: The MUSHA Case | |
Jyothi et al. | Haptic technology-a sense of touch | |
WO2019152566A1 (en) | Systems and methods for subject specific kinematic mapping | |
KR20150044243A (ko) | 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법 | |
JP7432275B1 (ja) | 映像表示装置、映像表示方法、及びプログラム | |
WO2006070495A1 (ja) | インタフェース装置 | |
CN117251058B (zh) | 一种多信息体感交互***的控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19860256 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19860256 Country of ref document: EP Kind code of ref document: A1 |