KR102286160B1 - Method and apparatus of providing tactile feedback - Google Patents
Method and apparatus of providing tactile feedback Download PDFInfo
- Publication number
- KR102286160B1 KR102286160B1 KR1020190165760A KR20190165760A KR102286160B1 KR 102286160 B1 KR102286160 B1 KR 102286160B1 KR 1020190165760 A KR1020190165760 A KR 1020190165760A KR 20190165760 A KR20190165760 A KR 20190165760A KR 102286160 B1 KR102286160 B1 KR 102286160B1
- Authority
- KR
- South Korea
- Prior art keywords
- virtual
- particle
- information
- tactile feedback
- pressure
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
촉감 피드백 제공 방법 및 장치가 개시된다. 일 실시예에 따른 촉감 피드백 제공 방법은, 객체를 센싱한 센싱 정보에 기초하여 상기 객체의 자세를 검출하는 단계와, 상기 객체에 대응하는 가상 객체를 구성하는 가상 강체 입자를 설정하는 단계와, 상기 가상 객체와 접촉하는 가상 변형체를 구성하는 가상 변형체 입자의 입자 정보 및 상기 가상 객체 상 압력 측정점의 위치에 기초하여 촉감 피드백 정보를 생성하는 단계를 포함한다.A method and apparatus for providing tactile feedback are disclosed. According to an embodiment, a method for providing tactile feedback includes detecting a posture of the object based on sensing information of sensing the object, and setting virtual rigid particles constituting a virtual object corresponding to the object; and generating tactile feedback information based on particle information of virtual deformable particles constituting a virtual deformable body in contact with the virtual object and a position of a pressure measurement point on the virtual object.
Description
아래 실시예들은 촉감 피드백 제공 방법 및 장치에 관한 것이다.The following embodiments relate to a method and apparatus for providing tactile feedback.
현실 공간에서 사용자는 설거지와 같은 일상생활에서 스펀지에서 물을 짜내는 것과 같이 손의 압력을 이용하여 변형체와 상호작용한다. 가상 환경에서도 사용자가 위와 같은 상호작용을 가능케 하기 위해서는 가상 공간에서의 가상 손과 변형체의 상호작용을 계산하여 변위, 속도, 힘과 같은 물리량을 실시간으로 반영할 수 있는 물리 기반 시뮬레이션 기술과 시뮬레이션 결과에 기반하여 시각적 피드백을 제공하는 그래픽 렌더링 기술과 촉감 피드백을 제공하는 햅틱 렌더링 기술이 필요하다.In the real space, the user interacts with the deformable object by using the pressure of the hand, such as squeezing water from a sponge in everyday life such as washing dishes. In order to enable the user to interact as above in a virtual environment, physics-based simulation technology that calculates the interaction between a virtual hand and a deformable body in virtual space and reflects physical quantities such as displacement, speed, and force in real time, and simulation results Based on this, there is a need for a graphic rendering technology that provides visual feedback and a haptic rendering technology that provides tactile feedback.
특히 상호 작용이 개입하는 가상 환경 시뮬레이션의 경우 직접적인 실제감을 전달해주는 햅틱 렌더링 기술은 더욱 중요할 수밖에 없다. 변형체의 햅틱 렌더링을 위하여 통합 입자 모델 기반 시뮬레이션, Chainmail 알고리즘, 질량-스프링 기법 등의 햅틱 렌더링 기법들이 제안되었다. 하지만 제안된 햅틱 렌더링 기법들은 주로 강체를 한 점으로 간주하여 햅틱 피드백을 제공하기 때문에 손과 같은 가변형 물체와 변형체 간의 상호작용을 표현하는 것에 한계가 존재한다.In particular, in the case of virtual environment simulation where interaction is involved, haptic rendering technology that delivers a direct sense of reality is inevitably more important. For haptic rendering of deformable objects, haptic rendering techniques such as integrated particle model-based simulation, Chainmail algorithm, and mass-spring technique have been proposed. However, since the proposed haptic rendering techniques mainly provide haptic feedback by considering a rigid body as a point, there is a limit to expressing the interaction between a deformable object and a variable object such as a hand.
가상 환경에서 변형체에 대한 촉감 피드백 및 상호작용을 위해서는 가상 환경에서 변형체의 변화를 효과적으로 손과 같은 가변형 물체에 전달하기 위해서는 기존의 한 점에 대한 촉감 피드백이 아닌 손 전반에 사실적인 촉감을 전달해 줄 수 있는 촉감 피드백 렌더링 기법이 필요하다.For tactile feedback and interaction with a deformable object in the virtual environment, in order to effectively transmit the change of the deformable object to a deformable object such as a hand in the virtual environment, it is possible to deliver realistic tactile sensation to the entire hand rather than the existing tactile feedback for one point. There is a need for a tactile feedback rendering technique.
실시예들은 가상 공간에 존재하는 가상 객체와 가상 변형체 간의 상호작용을 분석하여 객체에게 촉감 피드백을 제공할 수 있다.Embodiments may provide tactile feedback to the object by analyzing the interaction between the virtual object and the virtual deformable body existing in the virtual space.
일 실시예에 따른 촉감 피드백 제공 방법은, 객체를 센싱한 센싱 정보에 기초하여 상기 객체의 자세를 검출하는 단계와, 상기 객체에 대응하는 가상 객체를 구성하는 가상 강체 입자를 설정하는 단계와, 상기 가상 객체와 접촉하는 가상 변형체를 구성하는 가상 변형체 입자의 입자 정보 및 상기 가상 객체 상 압력 측정점의 위치에 기초하여 촉감 피드백 정보를 생성하는 단계를 포함한다.According to an embodiment, a method for providing tactile feedback includes detecting a posture of the object based on sensing information of sensing the object, and setting virtual rigid particles constituting a virtual object corresponding to the object; and generating tactile feedback information based on particle information of virtual deformable particles constituting a virtual deformable body in contact with the virtual object and a position of a pressure measurement point on the virtual object.
상기 촉감 피드백 제공 방법은, 상기 촉감 피드백 정보에 기초하여 상기 객체에 촉감 피드백을 제공하는 단계를 더 포함할 수 있다.The method for providing tactile feedback may further include providing tactile feedback to the object based on the tactile feedback information.
상기 촉감 피드백 정보를 생성하는 단계는, 상기 압력 측정점을 설정하는 단계와, 상기 가상 강체 입자와 상기 가상 변형체 입자 간의 상호 작용을 계산하는 단계와, 상기 상호 작용에 기초하여 상기 입자 정보를 획득하는 단계와, 상기 입자 정보 및 상기 압력 측정점의 위치에 기초하여 압력 정보를 계산하는 단계를 포함할 수 있다.The generating of the tactile feedback information may include setting the pressure measurement point, calculating an interaction between the virtual rigid particle and the virtual deformable particle, and obtaining the particle information based on the interaction. and calculating the pressure information based on the particle information and the position of the pressure measurement point.
상기 압력 측정점을 설정하는 단계는, 상기 객체에게 촉감 피드백을 제공하는 위치에 기초하여 압력 측정점의 개수 및 위치를 설정하는 단계를 포함할 수 있다.The setting of the pressure measurement points may include setting the number and positions of the pressure measurement points based on a position at which a tactile feedback is provided to the object.
상기 입자 정보를 획득하는 단계는, 상기 가상 강체 입자 및 상기 가상 변형체 입자에 대한 물리 시뮬레이션을 수행하여 상기 가상 강체 입자 및 상기 가상 변형체 입자의 힘 정보를 계산하는 단계와, 상기 힘 정보에 기초하여 상기 입자 정보를 획득하는 단계를 포함할 수 있다.The obtaining of the particle information may include calculating force information of the virtual rigid particle and the virtual deformable particle by performing a physical simulation on the virtual rigid particle and the virtual deformable particle; It may include obtaining particle information.
상기 입자 정보는, 상기 가상 변형체 입자에 대한 위치 정보 및 압력 정보 중 적어도 하나를 포함할 수 있다.The particle information may include at least one of position information and pressure information on the virtual deformable particle.
상기 압력 정보를 계산하는 단계는, 상기 가상 변형체 입자 중 상기 가상 객체와 접촉하는 접촉 입자를 필터링하는 단계와, 상기 입자 정보에 기초하여 상기 접촉 입자가 상기 가상 객체에 가하는 압력을 계산하는 단계와, 상기 접촉 입자에서 가장 가까운 근접 압력 측정점을 탐색하는 단계와, 탐색 결과에 기초하여 압력 정보를 계산하는 단계를 포함할 수 있다.The calculating of the pressure information may include: filtering contact particles that come into contact with the virtual object among the virtual deformable particles; calculating a pressure applied by the contact particles to the virtual object based on the particle information; The method may include searching for a pressure measurement point closest to the contact particle, and calculating pressure information based on a search result.
상기 탐색 결과에 기초하여 압력 정보를 계산하는 단계는, 상기 근접 압력 측정점이 가장 가까운 것으로 탐색된 하나 이상의 입자가 상기 가상 객체에 가하는 압력의 평균을 계산하는 단계를 포함할 수 있다.The calculating of the pressure information based on the search result may include calculating an average of pressure applied to the virtual object by one or more particles searched for as being the closest to the proximity pressure measurement point.
일 실시예에 따른 촉감 피드백 제공 장치는, 인스트럭션들을 포함하는 메모리와, 상기 인스트럭션들을 실행하기 위한 프로세서를 포함하고, 상기 프로세서에 의해 상기 인스트럭션들이 실행될 때, 상기 프로세서는, 객체를 센싱한 센싱 정보에 기초하여 상기 객체의 자세를 검출하고, 상기 객체에 대응하는 가상 객체를 구성하는 가상 강체 입자를 설정하고, 상기 가상 객체와 접촉하는 가상 변형체를 구성하는 가상 변형체 입자의 입자 정보 및 상기 가상 객체 상 압력 측정점의 위치에 기초하여 촉감 피드백 정보를 생성한다.An apparatus for providing tactile feedback according to an embodiment includes a memory including instructions and a processor for executing the instructions, and when the instructions are executed by the processor, the processor is configured to respond to sensing information sensing an object. Detect the posture of the object based on, set virtual rigid particles constituting a virtual object corresponding to the object, and particle information of virtual deformable particles constituting a virtual deformable body in contact with the virtual object and pressure on the virtual object Tactile feedback information is generated based on the position of the measurement point.
상기 프로세서는, 상기 압력 측정점을 설정하고, 상기 가상 강체 입자와 상기 가상 변형체 입자 간의 상호 작용을 계산하고, 상기 상호 작용에 기초하여 상기 입자 정보를 획득하고, 상기 입자 정보 및 상기 압력 측정점의 위치에 기초하여 압력 정보를 계산할 수 있다.The processor sets the pressure measurement point, calculates an interaction between the virtual rigid particle and the virtual deformable particle, obtains the particle information based on the interaction, and determines the particle information and the position of the pressure measurement point. Based on the pressure information can be calculated.
상기 프로세서는, 상기 객체에게 촉감 피드백을 제공하는 위치에 기초하여 압력 측정점의 개수 및 위치를 설정할 수 있다.The processor may set the number and position of the pressure measurement points based on a position that provides tactile feedback to the object.
상기 프로세서는, 상기 가상 강체 입자 및 상기 가상 변형체 입자에 대한 물리 시뮬레이션을 수행하여 상기 가상 강체 입자 및 상기 가상 변형체 입자의 힘 정보를 계산하고, 상기 힘 정보에 기초하여 상기 입자 정보를 획득할 수 있다.The processor may perform a physical simulation on the virtual rigid particle and the virtual deformable particle to calculate force information of the virtual rigid particle and the virtual deformable particle, and obtain the particle information based on the force information .
상기 입자 정보는, 상기 가상 변형체 입자에 대한 위치 정보 및 압력 정보 중 적어도 하나를 포함할 수 있다.The particle information may include at least one of position information and pressure information on the virtual deformable particle.
상기 프로세서는, 상기 가상 변형체 입자 중 상기 가상 객체와 접촉하는 접촉 입자를 필터링하고, 상기 입자 정보에 기초하여 상기 접촉 입자가 상기 가상 객체에 가하는 압력을 계산하고, 상기 접촉 입자에서 가장 가까운 근접 압력 측정점을 탐색하고, 탐색 결과에 기초하여 압력 정보를 계산할 수 있다.The processor is configured to filter contact particles that come into contact with the virtual object from among the virtual deformable particles, calculate a pressure applied by the contact particles to the virtual object based on the particle information, and measure a pressure closest to the contact particle. may be searched for, and pressure information may be calculated based on the search result.
상기 프로세서는, 상기 근접 압력 측정점이 가장 가까운 것으로 탐색된 하나 이상의 입자가 상기 가상 객체에 가하는 압력의 평균을 계산할 수 있다.The processor may calculate an average of pressures applied to the virtual object by one or more particles found to be the closest to the proximity pressure measurement point.
일 실시예에 따른 촉감 피드백 제공 시스템은, 상기 촉감 피드백 제공 장치와 상기 객체를 센싱하는 센서와 상기 촉감 피드백 정보에 기초하여 상기 객체에 촉감 피드백을 제공하는 햅틱 장치를 포함한다.A tactile feedback providing system according to an embodiment includes the tactile feedback providing device, a sensor sensing the object, and a haptic device providing tactile feedback to the object based on the tactile feedback information.
도 1은 일 실시예에 따른 촉감 피드백 제공 시스템의 개략적인 블록도이다.
도 2는 도 1에 도시된 촉감 피드백 제공 시스템의 동작을 설명하기 위한 블록도이다.
도 3은 도 2에 도시된 센서, 가장 객체 제어 모듈 및 입자 시뮬레이션 모듈의 동작을 설명하기 위한 흐름도이다.
도 4a 및 도 4b는 도 3에서 설명하는 동작을 도시한 도면이다.
도 5은 도 2에 도시된 햅틱 장치, 압력 계산 모듈, 입자 시뮬레이션 모듈의 동작을 설명하기 위한 흐름도이다.
도 6a 및 도 6c는 도 5에서 설명하는 동작을 도시한 도면이다.1 is a schematic block diagram of a system for providing tactile feedback according to an embodiment.
FIG. 2 is a block diagram for explaining the operation of the tactile feedback providing system shown in FIG. 1 .
3 is a flowchart for explaining the operations of the sensor, the simulated object control module, and the particle simulation module shown in FIG. 2 .
4A and 4B are diagrams illustrating the operation described in FIG. 3 .
FIG. 5 is a flowchart for explaining the operations of the haptic device, the pressure calculation module, and the particle simulation module shown in FIG. 2 .
6A and 6C are diagrams illustrating the operation described in FIG. 5 .
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, since various changes may be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It should be understood that all modifications, equivalents and substitutes for the embodiments are included in the scope of the rights.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for description purposes only, and should not be construed as limiting. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present specification, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.
제1 또는 제2등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해서 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 실시예의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various elements, but the elements should not be limited by the terms. The terms are only for the purpose of distinguishing one element from another element, for example, without departing from the scope of rights according to the concept of the embodiment, a first element may be named as a second element, and similarly The second component may also be referred to as the first component.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same components are given the same reference numerals regardless of the reference numerals, and the overlapping description thereof will be omitted. In the description of the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description thereof will be omitted.
본 명세서에서의 모듈(module)은 본 명세서에서 설명되는 각 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예를 들어 프로세서 또는 마이크로 프로세서를 의미할 수 있다.A module in the present specification may mean hardware capable of performing functions and operations according to each name described in this specification, or may mean computer program code capable of performing specific functions and operations, , or an electronic recording medium on which a computer program code capable of performing a specific function and operation is loaded, for example, a processor or a microprocessor.
다시 말해, 모듈이란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.In other words, a module may mean a functional and/or structural combination of hardware for carrying out the technical idea of the present invention and/or software for driving the hardware.
도 1은 일 실시예에 따른 촉감 피드백 제공 시스템의 개략적인 블록도이다.1 is a schematic block diagram of a system for providing tactile feedback according to an embodiment.
촉감 피드백 제공 시스템(10)은 객체에게 촉감(또는 촉각) 피드백(tactile feedback)을 제공할 수 있다.The tactile
촉감 피드백 제공 시스템(10)은 형태가 변형되는 가상 변형체에 의한 촉감 피드백을 사용자에게 제공할 수 있다. 예를 들어, 촉감 피드백 제공 시스템(10)은 가상 환경에서 수행되는 시뮬레이션을 통해 형태가 변형되는 가상 변형체에 의한 촉감 피드백을 객체에게 제공할 수 있다.The tactile
객체는 촉감 피드백을 제공할 대상 및/또는 형상을 렌더링하기 위한 대상을 의미할 수 있다. 객체는 강체로 구성될 수 있다. 예를 들어, 객체는 사람 및/또는 사람의 신체의 일부일 수 있다.The object may mean an object for providing tactile feedback and/or an object for rendering a shape. Objects may consist of rigid bodies. For example, the object may be a person and/or a part of a person's body.
객체는 자세(또는 포즈)가 변형될 수 있다. 예를 들어, 객체는 사람의 손이어서, 사람의 손 움직임에 의해 자세가 변형될 수 있다.The object may have a posture (or pose) deformed. For example, since the object is a human hand, the posture may be changed by the movement of the human hand.
객체는 가상 환경 내에서 가상 객체로 표현될 수 있다.An object may be represented as a virtual object in a virtual environment.
변형체는 외부 요인에 의해 형태가 변형될 수 있는 가변형 물체일 수 있다. 예를 들어, 변형체는 객체의 자세에 따라 형태가 변형되는 물체를 의미할 수 있다.The deformable body may be a deformable object whose shape may be deformed by external factors. For example, the deformable body may mean an object whose shape is deformed according to the posture of the object.
변형체는 형태 변형에 따라 형태를 변형시키는 객체에게 압력을 가하는 물체일 수 있다. 예를 들어, 변형체는 변형체를 쥐고 있는 사람의 손의 자세 변형에 따라 사람의 손에 압력을 가할 수 있다.The deformable body may be an object that applies pressure to the object that deforms the shape according to the shape transformation. For example, the deformable body may apply pressure to a person's hand according to a change in the posture of the person's hand holding the deformable body.
변형체는 가상 환경 내에서 가상 변형체로 표현될 수 있다.The deformable body may be expressed as a virtual deformable body in the virtual environment.
촉감 피드백 제공 시스템(10)은 사용자의 손에 변형체에 의한 촉감 피드백을 제공할 수 있다. 예를 들어, 촉감 피드백 제공 시스템(10)은 사용자가 손을 움직일 때 사용자의 손에 대응하는 가상 객체와 변형체에 대응하는 가상 변형체의 상호작용을 분석하여 사용자의 손의 변형체에 의한 촉감과 동일한 촉감 피드백을 제공할 수 있다.The tactile
촉감 피드백 제공 시스템(10)은 객체와 가상 환경 내에서 변형체와의 상호 작용을 사용자에게 촉감 피드백을 통해 전달할 수 있으며, 이를 통해 변형체 시뮬레이션이 포함된 몰입형 가상현실 어플리케이션에서 더 높은 현실감을 제공할 수 있다.The tactile
촉감 피드백 제공 시스템(10)은 촉감 피드백 제공 장치(100), 센서(400), 햅틱 장치(500), 및 디스플레이(600)를 포함할 수 있다.The tactile
촉감 피드백 제공 장치(100)는 IoT 장치, Machine-type 통신 장치 또는 휴대용 전자 장치 등으로 구현될 수 있다.The tactile
휴대용 전자 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 스마트 디바이스(smart device)로 구현될 수 있다. 예를 들어, 스마트 디바이스는 스마트 워치(smart watch) 또는 스마트 밴드(smart band)로 구현될 수 있다.Portable electronic devices include a laptop computer, a mobile phone, a smart phone, a tablet PC, a mobile internet device (MID), a personal digital assistant (PDA), and an enterprise digital assistant (EDA). ), digital still camera, digital video camera, PMP (portable multimedia player), PND (personal navigation device or portable navigation device), handheld game console, e-book (e-book), may be implemented as a smart device. For example, the smart device may be implemented as a smart watch or a smart band.
촉감 피드백 제공 장치(100)는 프로세서(200) 및 메모리(300)를 포함할 수 있다.The tactile
프로세서(200)는 센서(400)로부터 수신한 센싱 정보 및/또는 메모리(300)에 저장된 데이터를 처리할 수 있다. 프로세서(200)는 메모리(300)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(200)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.The
프로세서(200)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.The
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.For example, a data processing device implemented as hardware includes a microprocessor, a central processing unit, a processor core, a multi-core processor, and a multiprocessor. , an Application-Specific Integrated Circuit (ASIC), and a Field Programmable Gate Array (FPGA).
메모리(300)는 프로세서(200)에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서(200)의 동작 및/또는 프로세서(200)의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.The
메모리(300)는 휘발성 메모리 장치 또는 불휘발성 메모리 장치로 구현될 수 있다.The
휘발성 메모리 장치는 DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)으로 구현될 수 있다.The volatile memory device may be implemented as dynamic random access memory (DRAM), static random access memory (SRAM), thyristor RAM (T-RAM), zero capacitor RAM (Z-RAM), or twin transistor RAM (TTRAM).
불휘발성 메모리 장치는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque(STT)-MRAM), Conductive Bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), PRAM(Phase change RAM), 저항 메모리(Resistive RAM(RRAM)), 나노 튜브 RRAM(Nanotube RRAM), 폴리머 RAM(Polymer RAM(PoRAM)), 나노 부유 게이트 메모리(Nano Floating Gate Memory(NFGM)), 홀로그래픽 메모리(holographic memory), 분자 전자 메모리 소자(Molecular Eelectronic Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory)로 구현될 수 있다.Nonvolatile memory devices include EEPROM (Electrically Erasable Programmable Read-Only Memory), Flash memory, MRAM (Magnetic RAM), Spin-Transfer Torque (STT)-MRAM (Spin-Transfer Torque (STT)-MRAM), Conductive Bridging RAM (CBRAM). , FeRAM (Ferroelectric RAM), PRAM (Phase change RAM), Resistive RAM (RRAM), Nanotube RRAM (Nanotube RRAM), Polymer RAM (PoRAM), Nano Floating Gate Memory Memory (NFGM)), a holographic memory, a molecular electronic memory device, or an Insulator Resistance Change Memory.
프로세서(200)는 센서(400)의 센싱 정보에 기초하여 객체의 자세를 검출할 수 있다. 예를 들어, 프로세서(200)는 사용자의 손을 센싱한 센싱 정보에 기초하여 손의 자세를 검출 할 수 있다.The
프로세서(200)는 검출한 객체의 자세에 기초하여 가상 객체를 구성하는 가상 객체 입자를 설정할 수 있다. 예를 들어, 프로세서(200)는 사용자의 손에 대응하는 가상 핸드를 구성하는 가상 객체 입자를 설정할 수 있다.The
프로세서(200)는 가상 객체와 접촉하는 가상 변형체에 대한 초기 정보를 입력 받을 수 있다. 예를 들어, 프로세서(200)는 가상 변형체를 구성하는 가상 변형체 입자의 물성에 관한 정보를 입력 받을 수 있다.The
프로세서(200)는 가상 강체 입자 및 가상 변형체 입자 사이의 상호작용을 계산할 수 있다. 예를 들어, 프로세서(200)는 가상 강체 입자 및 가상 변형체 입자 간 입자 시뮬레이션을 수행하여 각 입자들 사이의 상호작용을 계산할 수 있다.The
프로세서(200)는 시뮬레이션 결과에 기초하여 가상 변형체 입자의 입자 정보를 획득할 수 있다. 입자 정보는 가상 변형체 입자의 3차원 위치 정보 및 압력 정보를 포함할 수 있다. 압력 정보는 가상 변형체 입자에 가해지는 압력을 포함할 수 있다.The
프로세서(200)는 가상 강체 입자와 가상 변형체 입자 사이에 작용하는 힘을 계산할 수 있다. 예를 들어, 프로세서(200)는 스무디드 파티클 하이드로다이나믹스(smoothed particle hydrodynamics)와 같은 입자법에 의한 물리 기반 시뮬레이션을 통해 입자 사이에 작용하는 힘을 계산할 수 있다.The
프로세서(200)는 GPGPU(General-Purpose computing on Graphics Processing Units)를 포함하도록 구성되어 안정적인 촉감 피드백을 계산하고, 실시간으로 강체-변형체 간의 상호작용을 시뮬레이션할 수 있다.The
프로세서(200)는 가상 변형체 입자의 입자 정보 및 설정된 압력 측정점의 위치에 기초하여 촉감 피드백 정보를 생성할 수 있다.The
압력 측정점은 가상 객체 상에 설정될 수 있다. 압력 측정점은 촉감 피드백 정보를 생성하기 위한 압력 정보 수집의 기준이 되는 지점일 수 있다.The pressure measurement point may be set on the virtual object. The pressure measurement point may be a reference point for collecting pressure information for generating tactile feedback information.
압력 측정점은 사용자에 의해 임의로 설정될 수 있고, 프로세서(200)에 의해 설정될 수도 있다. 예를 들어, 압력 측정점은 햅틱 장치(500)의 자유도에 기초하여 개수 및 위치가 결정될 수 있다.The pressure measurement point may be arbitrarily set by a user or may be set by the
프로세서(200)는 가상 변형체 입자 중 가상 객체와 접촉하는 접촉 입자를 필터링 할 수 있다.The
프로세서(200)는 입자 정보에 기초하여 가상 변형체 입자가 가상 객체에 가하는 압력을 계산할 수 있다. 예를 들어, 프로세서(200)는 필터링된 접촉 입자에 대해서만 접촉 입자가 가상 객체에 가하는 압력을 계산할 수 있다.The
프로세서(200)는 각각의 접촉 입자들에 대해 가장 가까운 압력 측정점을 탐색할 수 있다. 프로세서(200)는 탐색 결과에 기초하여 접촉 입자들을 가장 가까운 압력 측정점이 같은 접촉 입자들로 분류할 수 있다.The
프로세서(200)는 가장 가까운 압력 측정점이 같은 접촉 입자들이 가상 객체에 가하는 압력의 평균값을 해당 압력 측정점의 압력 값으로 계산할 수 있다. 즉, 각각의 압력 측정점의 압력 값은 해당 압력 측정점에 근접한 접촉 입자의 압력의 평균으로 계산될 수 있다.The
프로세서(200)는 각각의 압력 측정점의 압력 값에 기초하여 촉감 피드백 정보를 생성할 수 있다. 예를 들어 촉감 피드백 정보는 햅틱 장치(500)를 제어하는 제어 신호일 수 있다.The
센서(400)는 객체를 감지할 수 있다. 센서(400)는 객체의 움직임을 감지할 수 있다. 예를 들어, 센서(400)는 사용자가 가상 환경을 제어하기 위해 손을 움직이면, 해당 움직임을 감지할 수 있다.The
예를 들어, 센서(400)는 카메라, 모션 센서를 포함할 수 있다. 센서(400)는 감지한 객체의 움직임을 촉감 피드백 제공 장치(100)로 출력할 수 있다.For example, the
햅틱 장치(500)는 접촉하고 있는 객체에게 촉감 피드백을 전달할 수 있다. 예를 들어, 햅틱 장치(500)는 햅틱 장치(500)를 쥐고 있는 사용자에 손에 촉감 피드백을 전달할 수 있다.The
햅틱 장치(500)는 촉감 피드백 정보에 기초하여 객체에게 촉감 피드백을 제공할 수 있다. 예를 들어, 햅틱 장치(500)는 프로세서(200)가 전송한 제어 신호에 기초하여 객체에게 촉감 피드백을 제공할 수 있다.The
햅틱 장치(500)는 가변형 햅틱 장치일 수 있다. 예를 들어, 햅틱 장치(500)는 객체에 의해 형태가 변형될 수 있다.The
햅틱 장치(500)는 압력 및/또는 진동을 통해 촉감 피드백을 전달할 수 있다. 또한, 햅틱 장치(500)는 부피 변화를 통해 촉감 피드백을 전달할 수 있다.The
햅틱 장치(500)는 촉감 피드백 제공 장치(100)로부터 수신한 제어 신호에 기초하여 촉감 피드백을 생성할 수 있다.The
디스플레이(600)는 사용자에게 시각 정보를 제공할 수 있다. 예를 들어, 디스플레이(600)는 프로세서(200)가 렌더링한 시뮬레이션 결과를 사용자에게 제공할 수 있다.The
디스플레이(600)는 3차원 디스플레이를 포함할 수 있다. 예를 들어, 디스플레이(600)는 헤드 마운트 디스플레이를 포함할 수 있다. 디스플레이(600)는 프로세서(200)의 렌더링 결과를 이용하여 사용자에게 3차원 영상을 제공할 수 있다.The
도 2는 도 1에 도시된 촉감 피드백 제공 시스템의 동작을 설명하기 위한 블록도이다.FIG. 2 is a block diagram for explaining the operation of the tactile feedback providing system shown in FIG. 1 .
촉감 피드백 제공 장치(100)는 가상 객체 제어 모듈(210), 그래픽 렌더링 모듈(230), 압력 계산 모듈(250) 및 입자 시뮬레이션 모듈(270)을 포함할 수 있다.The tactile
가상 객체 제어 모듈(210)은 센서(400)로부터 센싱 정보를 받아 가상 환경 내 가상 객체의 상태를 변경할 수 있다.The virtual
가상 객체 제어 모듈(210)은 센서(400)로부터 전달받은 센싱 정보에 기초하여 포즈를 검출할 수 있다. 예를 들어, 가상 객체 제어 모듈(210)은 사용자의 손 움직임을 센싱한 센싱 정보에 기초하여 사용자의 손의 포즈를 검출할 수 있다.The virtual
가상 객체 제어 모듈(210)은 검출한 자세에 기초하여 가상 객체를 구성하는 가상 강체 입자의 위치를 변경할 수 있다.The virtual
가상 객체 제어 모듈(210)은 검출한 포즈 정보를 입자 시뮬레이션 모듈(270)로 출력할 수 있다. 포즈 정보는 가상 강체 입자의 위치를 포함할 수 있다.The virtual
그래픽 렌더링 모듈(230)은 현재 가상 환경을 시각 정보로 렌더링할 수 있다.The
그래픽 렌더링 모듈(230)은 입자 시뮬레이션 모듈(270)로부터 전달받은 시각 정보를 처리하여 사용자에게 시각 피드백을 제공할 수 있다. 시각 정보는 가상 환경 내 입자들의 위치 정보를 포함할 수 있다.The
예를 들어, 그래픽 렌더링 모듈(230)은 시뮬레이션 결과에 기초하여 시각 정보를 렌더링할 수 있다.For example, the
그래픽 렌더링 모듈(230)은 디스플레이(600)에 적합하게 시각 정보를 처리 및 변환하여 출력할 수 있다. 그래픽 렌더링 모듈(230)은 디스플레이(600)를 통해 사용자에게 시각 피드백을 제공할 수 있다.The
압력 계산 모듈(250)은 입자 시뮬레이션 모듈(270)로부터 전달받은 가상 변형체 입자 정보에 기초하여 햅틱 장치(500)를 제어하는 제어 신호를 생성할 수 있다.The
압력 계산 모듈(250)은 가상 객체에 접촉하는 가상 변형체 입자를 필터링할 수 있고, 해당 가상 변형체 입자들에 대해 가장 가까운 압력 측정점을 탐색할 수 있다.The
압력 계산 모듈(250)은 가상 변형체 입자의 압력에 기초하여 압력 측정점의 압력 값을 계산할 수 있다.The
압력 계산 모듈(250)은 압력 측정점의 압력 값에 기초하여 햅틱 장치(500)를 제어하는 제어신호를 생성할 수 있다.The
입자 시뮬레이션 모듈(270)은 가상 객체 제어 모듈(210)로부터 전달 받은 포즈 정보에 기초하여 입자 시뮬레이션을 수행할 수 있다. 즉, 입자 시뮬레이션 모듈(270)은 변경된 가상 강체 입자의 위치에 기초하여 입자 시뮬레이션을 수행할 수 있다.The
입자 시뮬레이션 모듈(270)은 가상 강체 입자 및 가상 변형체 입자에 대해 입자 시뮬레이션을 수행할 수 있다.The
입자 시뮬레이션 모듈(270)은 시뮬레이션 결과에 기초하여 그래픽 렌더링 모듈(230)로 시각 정보를 출력하고, 압력 계산 모듈로 가상 변형체 입자 정보를 출력할 수 있다.The
시각 정보는 시뮬레이션 결과에 기초한 입자들의 위치 정보를 포함할 수 있고, 입자 정보는 입자의 위치 정보 및 압력 정보를 포함할 수 있다.The visual information may include position information of particles based on a simulation result, and the particle information may include position information and pressure information of the particles.
센서(400)는 객체를 감지할 수 있다. 센서(400)는 객체의 움직임을 감지할 수 있다. 예를 들어, 센서(400)는 사용자가 가상 환경을 제어하기 위해 손을 움직이면, 해당 움직임을 감지할 수 있다.The
센서(400)는 센싱 정보를 가상 객체 제어 모듈(210)로 전송할 수 있다.The
햅틱 장치(500)는 가상 환경 내의 가상 변형체가 가상 객체에 가하는 압력(또는 촉감)을 사용자가 느낄 수 있도록 사용자에게 촉감 피드백을 제공할 수 있다.The
햅틱 장치(500)는 압력 계산 모듈(250)로부터 수신한 제어 신호에 기초하여 액추에이터를 가동해 사용자에게 촉감 피드백을 제공할 수 있다. 예를 들어, 햅틱 장치(500)는 액추에이터를 가동시켜 햅틱 장치(500)의 부피를 변형시킬 수 있다.The
도 3은 도 2에 도시된 센서, 가장 객체 제어 모듈 및 입자 시뮬레이션 모듈의 동작을 설명하기 위한 흐름도이고, 도 4a 및 도 4b는 도 3에서 설명하는 동작을 도시한 도면이다.3 is a flowchart for explaining the operations of the sensor, the simulated object control module, and the particle simulation module shown in FIG. 2 , and FIGS. 4A and 4B are diagrams illustrating the operation described in FIG. 3 .
센서(400)는 객체를 감지할 수 있다. 예를 들어, 센서(400)는 햅틱 장치(500)를 쥐고 있는 사용자의 손을 센싱할 수 있다.The
센서(400)는 객체의 움직임을 포함하는 센서 정보를 가상 객체 제어 모듈(210)로 전송할 수 있다.The
가상 객체 제어 모듈(210)은 센서 정보에 기초하여 가상 객체의 자세를 추정할 수 있다. 예를 들어, 가상 객체 제어 모듈(210)은 사용자의 손의 움직임을 센싱한 정보에 기초하여 가상 핸드의 자세를 추정할 수 있다.The virtual
가상 객체 제어 모듈(210)은 추정된 가상 객체의 자세를 가상 강체 입자로 구성된 가상 객체에 적용할 수 있다. 즉, 가상 객체 제어 모듈(210)은 추정된 가상 객체의 자세에 기초하여 가상 강체 입자의 위치를 변경할 수 있다.The virtual
가상 객체 제어 모듈(210)은 가상 강체 입자의 위치를 입자 시뮬레이션 모듈(270)로 전송할 수 있다.The virtual
입자 시뮬레이션 모듈(270)은 가상 강체 입자와 가상 변형체를 구성하는 가상 변형체 입자와의 상호 작용을 계산할 수 있다. 예를 들어, 입자 시뮬레이션 모듈(270)은 가상 강체 입자의 위치를 업데이트하여 가상 강체 입자 및 가상 변형체 입자 간의 상호작용을 계산할 수 있다.The
입자 시뮬레이션 모듈(270)은 시뮬레이션을 수행하여 가상 강체 임자 및 가상 변형체 입자의 힘 정보를 획득할 수 있다. 입자 시뮬레이션 모듈(270)은 힘 정보에 기초하여 가상 변형체 입자의 최종 위치를 계산할 수 있다.The
입자 시뮬레이션 모듈(270)은 가상 강체 입자 데이터 및 가상 변형체 입자 데이터에 기초하여 시뮬레이션을 수행할 수 있다.The
가상 강체 입자 데이터 및 가상 변형체 입자 데이터는 가상 강체 입자 및 가상 변형체 입자의 물성을 포함할 수 있다. 각 입자들의 물성은 강제 입자의 크기, 위치, 힘, 속도, 질량, 밀도 등을 포함할 수 있다.The virtual rigid particle data and the virtual deformable particle data may include physical properties of the virtual rigid particle and the virtual deformable particle. The physical properties of each particle may include the size, position, force, velocity, mass, density, etc. of the force particle.
도 5은 도 2에 도시된 햅틱 장치, 압력 계산 모듈, 입자 시뮬레이션 모듈의 동작을 설명하기 위한 흐름도이고, 도 6a 및 도 6c는 도 5에서 설명하는 동작을 도시한 도면이다.5 is a flowchart for explaining the operations of the haptic device, the pressure calculation module, and the particle simulation module shown in FIG. 2 , and FIGS. 6A and 6C are diagrams illustrating the operation described in FIG. 5 .
입자 시뮬레이션 모듈(270)은 시뮬레이션 내 가상 변형체 입자의 입자 정보를 압력 계산 모듈(250)로 전송할 수 있다. 입자 정보는 가상 변형체 입자의 3차원 위치 정보 및 압력 정보를 포함할 수 있다. 압력 정보는 가상 변형체 입자에 가해지는 압력(또는 변형력)일 수 있다.The
압력 계산 모듈(250)은 가상 변형체 입자 중 가상 객체에 접촉한 입자를 필터링할 수 있다. 예를 들어, 압력 계산 모듈(250)은 가상 객체와 접촉한 접촉 입자를 필터링할 수 있다.The
압력 계산 모듈(250)은 가상 변형체 입자의 입자 정보에 기초하여 가장 변형체 입자가 가상 객체에 가하는 압력을 계산할 수 있다. 압력 계산 모듈(250)은 가상 객체에 접촉하는 접촉 입자에 대해서만 가상 객체에 가하는 압력을 계산할 수 있다.The
압력 계산 모듈(250)은 접촉 입자에서 가장 가까운 압력 측정점을 탐색할 수 있다. 압력 계산 모듈(250)은 탐색 결과에 기초하여 접촉 입자들을 가장 가까운 압력 측정점이 같은 접촉 입자들로 분류할 수 있다.The
압력 측정점은 가상 객체 표면에 설정될 수 있고, 압력 측정점은 하나 이상 설정될 수 있다. 압력 측정점은 촉감 피드백 정보를 생성하기 위한 압력 정보 수집의 기준이 되는 지점일 수 있다.The pressure measuring point may be set on the virtual object surface, and one or more pressure measuring points may be set. The pressure measurement point may be a reference point for collecting pressure information for generating tactile feedback information.
도 6c는 가장 가까운 압력 측정점이 같은 접촉 입자들과 해당 압력 측정점을 부호화하여 나타낸다.FIG. 6c shows contact particles having the same pressure measurement point as the closest point and coding the corresponding pressure measurement point.
압력 계산 모듈(250)은 가장 가까운 압력 측정점이 같은 접촉 입자들이 가상 객체에 가하는 압력을 해당 압력 측정점에 누산할 수 있다. 예를 들어, 압력 계산 모듈(250)은 가장 가까운 압력 측정점이 같은 접촉 입자들이 가상 객체에 가하는 압력의 평균을 계산할 수 있다. 압력 계산 모듈(250)은 계산한 평균 압력을 해당 압력 측정점의 압력 정보로 설정할 수 있다.The
압력 계산 모듈(250)은 각 압력 측정점의 압력 정보에 기초하여 햅틱 장치(500)를 제어하는 제어 신호로 메핑할 수 있다. 예를 들어, 압력 계산 모듈(250)은 압력 정보에 기초하여 햅틱 장치(500)의 액추에이터를 제어할 수 있는 입력 값으로 매핑할 수 있다.The
압력 계산 모듈(250)은 제어 신호를 햅틱 장치(500)로 전송할 수 있다.The
햅틱 장치(500)는 압력 계산 모듈(250)로부터 수신한 제어 신호에 기초하여 엑추에이터를 제어할 수 있다.The
햅틱 장치(500)는 책추에이터를 제어하여 사용자에게 촉감 피드백을 제공할 수 있다. 예를 들어, 햅틱 장치(500)는 사용자에게 부피 변화 및/또는 진동을 통해 촉감 피드백을 제공할 수 있다.The
촉감 피드백 제공 시스템(10)은 실시간으로 가상 객체(예를 들어, 사용자의 손에 대응되는 가상 핸드)의 자세를 추정하여 사용자와 가상 환경 내의 가상 변형체 사이 상호 작용을 제공할 수 있고, 가상 객체에 압력 측정점을 정의함으로써 가상 변형체 입자가 가상 객체의 넓은 부위에 가하는 낮은 복잡도로 압력을 계산하여 사실적인 촉감 피드백을 제공할 수 있다.The tactile
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited drawings, those skilled in the art may apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (17)
상기 객체에 대응하는 가상 객체를 구성하는 가상 강체 입자를 설정하는 단계; 및
상기 가상 객체와 접촉하는 가상 변형체를 구성하는 가상 변형체 입자의 입자 정보 및 상기 가상 객체 상 압력 측정점의 위치에 기초하여 촉감 피드백 정보를 생성하는 단계
를 포함하는, 촉감 피드백 제공 방법.
detecting a posture of the object based on information sensed on the object;
setting virtual rigid particles constituting a virtual object corresponding to the object; and
generating tactile feedback information based on particle information of virtual deformable particles constituting a virtual deformable body in contact with the virtual object and a position of a pressure measurement point on the virtual object;
A method for providing tactile feedback, comprising:
상기 촉감 피드백 정보에 기초하여 상기 객체에 촉감 피드백을 제공하는 단계
를 더 포함하는 촉감 피드백 제공 방법.
According to claim 1,
providing tactile feedback to the object based on the tactile feedback information;
A method of providing tactile feedback further comprising a.
상기 촉감 피드백 정보를 생성하는 단계는,
상기 압력 측정점을 설정하는 단계;
상기 가상 강체 입자와 상기 가상 변형체 입자 간의 상호 작용을 계산하는 단계;
상기 상호 작용에 기초하여 상기 입자 정보를 획득하는 단계; 및
상기 입자 정보 및 상기 압력 측정점의 위치에 기초하여 압력 정보를 계산하는 단계
를 포함하는 촉감 피드백 제공 방법.
According to claim 1,
The step of generating the tactile feedback information includes:
setting the pressure measurement point;
calculating an interaction between the virtual rigid particle and the virtual deformable particle;
obtaining the particle information based on the interaction; and
calculating pressure information based on the particle information and the position of the pressure measurement point
A method for providing tactile feedback comprising:
상기 압력 측정점을 설정하는 단계는,
상기 객체에게 촉감 피드백을 제공하는 위치에 기초하여 압력 측정점의 개수 및 위치를 설정하는 단계
를 포함하는 촉감 피드백 제공 방법.
4. The method of claim 3,
The step of setting the pressure measurement point,
Setting the number and position of pressure measurement points based on the position providing tactile feedback to the object
A method for providing tactile feedback comprising:
상기 입자 정보를 획득하는 단계는,
상기 가상 강체 입자 및 상기 가상 변형체 입자에 대한 물리 시뮬레이션을 수행하여 상기 가상 강체 입자 및 상기 가상 변형체 입자의 힘 정보를 계산하는 단계; 및
상기 힘 정보에 기초하여 상기 입자 정보를 획득하는 단계
를 포함하는 촉감 피드백 제공 방법.
4. The method of claim 3,
The step of obtaining the particle information includes:
calculating force information of the virtual rigid particle and the virtual deformable particle by performing a physical simulation on the virtual rigid particle and the virtual deformable particle; and
obtaining the particle information based on the force information
A method for providing tactile feedback comprising:
상기 입자 정보는,
상기 가상 변형체 입자에 대한 위치 정보 및 압력 정보 중 적어도 하나를 포함하는 촉감 피드백 제공 방법.
According to claim 1,
The particle information is
A method for providing tactile feedback including at least one of position information and pressure information on the virtual deformable particle.
상기 압력 정보를 계산하는 단계는,
상기 가상 변형체 입자 중 상기 가상 객체와 접촉하는 접촉 입자를 필터링하는 단계;
상기 입자 정보에 기초하여 상기 접촉 입자가 상기 가상 객체에 가하는 압력을 계산하는 단계;
상기 접촉 입자에서 가장 가까운 근접 압력 측정점을 탐색하는 단계; 및
탐색 결과에 기초하여 압력 정보를 계산하는 단계
를 포함하는 촉감 피드백 제공 방법.
4. The method of claim 3,
The step of calculating the pressure information,
filtering contact particles that come into contact with the virtual object from among the virtual deformable particles;
calculating a pressure applied by the contact particle to the virtual object based on the particle information;
searching for the closest proximity pressure measurement point to the contact particle; and
calculating pressure information based on the search result
A method for providing tactile feedback comprising:
상기 탐색 결과에 기초하여 압력 정보를 계산하는 단계는,
상기 근접 압력 측정점이 가장 가까운 것으로 탐색된 하나 이상의 입자가 상기 가상 객체에 가하는 압력의 평균을 계산하는 단계
를 포함하는 촉감 피드백 제공 방법.
8. The method of claim 7,
The step of calculating the pressure information based on the search result,
Calculating an average of the pressure applied to the virtual object by one or more particles found to be the closest to the proximity pressure measurement point
A method for providing tactile feedback comprising:
A computer program stored in a computer-readable recording medium in combination with hardware to execute the method of any one of claims 1 to 8.
상기 인스트럭션들을 실행하기 위한 프로세서
를 포함하고,
상기 프로세서에 의해 상기 인스트럭션들이 실행될 때, 상기 프로세서는,
객체를 센싱한 정보에 기초하여 상기 객체의 자세를 검출하고, 상기 객체에 대응하는 가상 객체를 구성하는 가상 강체 입자를 설정하고, 상기 가상 객체와 접촉하는 가상 변형체를 구성하는 가상 변형체 입자의 입자 정보 및 상기 가상 객체 상 압력 측정점의 위치에 기초하여 촉감 피드백 정보를 생성하는
촉감 피드백 제공 장치.
a memory containing instructions; and
a processor for executing the instructions
including,
When the instructions are executed by the processor, the processor
Detect the posture of the object based on the sensing information of the object, set virtual rigid particles constituting a virtual object corresponding to the object, and particle information of virtual deformable particles constituting a virtual deformable body in contact with the virtual object and generating tactile feedback information based on the position of the pressure measurement point on the virtual object.
A device for providing tactile feedback.
상기 프로세서는,
상기 압력 측정점을 설정하고, 상기 가상 강체 입자와 상기 가상 변형체 입자 간의 상호 작용을 계산하고, 상기 상호 작용에 기초하여 상기 입자 정보를 획득하고, 상기 입자 정보 및 상기 압력 측정점의 위치에 기초하여 압력 정보를 계산하는
촉감 피드백 제공 장치.
11. The method of claim 10,
The processor is
setting the pressure measuring point, calculating the interaction between the virtual rigid particle and the virtual deformable particle, obtaining the particle information based on the interaction, and pressure information based on the particle information and the position of the pressure measuring point to calculate
A device for providing tactile feedback.
상기 프로세서는,
상기 객체에게 촉감 피드백을 제공하는 위치에 기초하여 압력 측정점의 개수 및 위치를 설정하는 촉감 피드백 제공 장치.
12. The method of claim 11,
The processor is
A tactile feedback providing apparatus configured to set the number and positions of pressure measurement points based on a position at which the tactile feedback is provided to the object.
상기 프로세서는,
상기 가상 강체 입자 및 상기 가상 변형체 입자에 대한 물리 시뮬레이션을 수행하여 상기 가상 강체 입자 및 상기 가상 변형체 입자의 힘 정보를 계산하고, 상기 힘 정보에 기초하여 상기 입자 정보를 획득하는
촉감 피드백 제공 장치.
12. The method of claim 11,
The processor is
calculating force information of the virtual rigid particle and the virtual deformable particle by performing a physical simulation on the virtual rigid particle and the virtual deformable particle, and obtaining the particle information based on the force information
A device for providing tactile feedback.
상기 입자 정보는,
상기 가상 변형체 입자에 대한 위치 정보 및 압력 정보 중 적어도 하나를 포함하는 촉감 피드백 제공 장치.
12. The method of claim 11,
The particle information is
The apparatus for providing tactile feedback including at least one of position information and pressure information on the virtual deformable particle.
상기 프로세서는,
상기 가상 변형체 입자 중 상기 가상 객체와 접촉하는 접촉 입자를 필터링하고, 상기 입자 정보에 기초하여 상기 접촉 입자가 상기 가상 객체에 가하는 압력을 계산하고, 상기 접촉 입자에서 가장 가까운 근접 압력 측정점을 탐색하고, 탐색 결과에 기초하여 압력 정보를 계산하는
촉감 피드백 제공 장치.
12. The method of claim 11,
The processor is
Filtering contact particles that come into contact with the virtual object among the virtual deformable particles, calculating the pressure that the contact particles apply to the virtual object based on the particle information, and searching for the closest proximity pressure measurement point to the contact particle, Calculating pressure information based on search results
A device for providing tactile feedback.
상기 프로세서는,
상기 근접 압력 측정점이 가장 가까운 것으로 탐색된 하나 이상의 입자가 상기 가상 객체에 가하는 압력의 평균을 계산하는
촉감 피드백 제공 장치.
16. The method of claim 15,
The processor is
Calculating the average of the pressure applied to the virtual object by one or more particles found to be the closest to the proximity pressure measurement point
A device for providing tactile feedback.
상기 객체를 센싱하는 센서; 및
상기 촉감 피드백 정보에 기초하여 상기 객체에 촉감 피드백을 제공하는 햅틱 장치
를 포함하는 촉감 피드백 제공 시스템.
The device for providing tactile feedback of claim 10;
a sensor for sensing the object; and
A haptic device for providing tactile feedback to the object based on the tactile feedback information
A tactile feedback providing system comprising a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190165760A KR102286160B1 (en) | 2019-12-12 | 2019-12-12 | Method and apparatus of providing tactile feedback |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190165760A KR102286160B1 (en) | 2019-12-12 | 2019-12-12 | Method and apparatus of providing tactile feedback |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210074737A KR20210074737A (en) | 2021-06-22 |
| KR102286160B1 true KR102286160B1 (en) | 2021-08-05 |
Family
ID=76600584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190165760A KR102286160B1 (en) | 2019-12-12 | 2019-12-12 | Method and apparatus of providing tactile feedback |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102286160B1 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102399671B1 (en) * | 2014-08-26 | 2022-05-20 | 삼성전자주식회사 | Method and apparatus for modeling objects |
| KR102263096B1 (en) * | 2014-11-13 | 2021-06-09 | 삼성전자주식회사 | Method and apparatus for modeling objects consisting of particles |
| KR102437374B1 (en) * | 2015-10-01 | 2022-08-30 | 삼성전자주식회사 | Method and device for modeling an object |
| KR20170052144A (en) * | 2015-11-04 | 2017-05-12 | 삼성전자주식회사 | Rendering method and apparatus of target fluid |
-
2019
- 2019-12-12 KR KR1020190165760A patent/KR102286160B1/en active IP Right Grant
Non-Patent Citations (2)
| Title |
|---|
| 김석열 외 1인. SPH 기반의 유체 및 용해성 강체에 대한 시각-촉각 융합 상호작용 시뮬레이션. Journal of the Korean Society of Visualization, Vol. 15, No. 1, 32-40페이지. 2017년. |
| 장재현 외 1인. 비접촉식 햅틱 인터페이스를 통한 가상 유체의 촉각 렌더링 기법. 제11회 햅틱스연구회 워크샵. 2019년8월30일. 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210074737A (en) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101885740B1 (en) | Systems and methods for providing features in a friction display | |
| TWI686711B (en) | Method and computer storage medium for performing neural network computations, and neural network system | |
| CN102349040B (en) | For comprising the system and method at the interface of the haptic effect based on surface | |
| US10976819B2 (en) | Haptic feedback for non-touch surface interaction | |
| US9582933B1 (en) | Interacting with a model via a three-dimensional (3D) spatial environment | |
| KR20170139508A (en) | Dynamic rendering of etch input | |
| CN105425959A (en) | Systems and methods for interfaces featuring surface-based haptic effects | |
| JP2012520521A5 (en) | ||
| JP5342761B2 (en) | Surface construction method of fluid simulation based on particle method, program thereof, and storage medium storing the program | |
| EP4147207A1 (en) | Method and system for real-time simulation of elastic body | |
| KR20110051044A (en) | Method and apparatus for providing users with haptic information on a 3-d object | |
| KR102286160B1 (en) | Method and apparatus of providing tactile feedback | |
| KR102245898B1 (en) | Method and apparatus of providing tactile feedback | |
| KR102286161B1 (en) | Method and apparatus of providing tactile feedback | |
| KR20220086495A (en) | Method for providing tactile feedback based on interaction with virtual fluid and apparatus for performing the same | |
| KR102514713B1 (en) | Method and apparatus of providing tactile feedback for volume data interaction | |
| Pavlik et al. | Interacting with grasped objects in expanded haptic workspaces using the bubble technique | |
| Shin | PHYSICALLY REALISTIC BOOK PAGE NAVIGATION | |
| KR101605740B1 (en) | Method for recognizing personalized gestures of smartphone users and Game thereof | |
| Li et al. | Penalty-based haptic rendering technique on medicinal healthy dental detection | |
| KR102535266B1 (en) | Apparatus and method for learning motion generation model, apparatus and method for genrating motion | |
| JP5777506B2 (en) | Analysis apparatus and simulation method | |
| KR101803770B1 (en) | Electronic apparatus and method for rendering thereof | |
| KR20230133147A (en) | Method for controlling electronic device by identifying shear stress pattern in a region where two inputter contact, and the electronic device thereof | |
| CN116414225A (en) | Haptic simulation system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |