WO2017183853A1 - 촉각 인터페이스장치 및 촉각 인터페이스방법 - Google Patents

촉각 인터페이스장치 및 촉각 인터페이스방법 Download PDF

Info

Publication number
WO2017183853A1
WO2017183853A1 PCT/KR2017/003984 KR2017003984W WO2017183853A1 WO 2017183853 A1 WO2017183853 A1 WO 2017183853A1 KR 2017003984 W KR2017003984 W KR 2017003984W WO 2017183853 A1 WO2017183853 A1 WO 2017183853A1
Authority
WO
WIPO (PCT)
Prior art keywords
tactile
input
sensing
user
light
Prior art date
Application number
PCT/KR2017/003984
Other languages
English (en)
French (fr)
Inventor
조진수
이혜림
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Publication of WO2017183853A1 publication Critical patent/WO2017183853A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0219—Special purpose keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/004—Details of particular tactile cells, e.g. electro-mechanical or mechanical layout
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/007—Teaching or communicating with blind persons using both tactile and audible presentation of the information

Definitions

  • the present invention relates to a tactile interface device and a tactile interface method. More particularly, the present invention relates to a tactile interface device and a tactile interface method. The present invention relates to a tactile interface device and a tactile interface method.
  • the current method of using a computer generally uses a method of recognizing visual information output through a monitor and inputting information using an input tool such as a keyboard, a mouse, or a touch pad. Therefore, the visually impaired people who cannot use the visual perception have a great limitation in interacting with the computer at the same level as the general public and promptly inputting the information. As a result, visual impairments significantly reduce the efficiency of computer use, greatly depriving the computer of the opportunity to acquire and use information.
  • a representative technology is a screen reader that assists the visually impaired to use a computer through hearing. This is a device or software that helps to use the computer by outputting the audio output on the computer screen and the keyboard information input by the user.
  • GUI Graphic User Interface
  • the screen reader searches for Graphic User Interface (GUI) elements of the output screen with only one linearized information without two-dimensional spatial position information on the output screen, which makes it difficult to recognize the screen output information. The more information, the greater the difficulty.
  • GUI Graphic User Interface
  • the screen reader provides only text-based, descriptive explanations such as pictures and diagrams, so that visually impaired people can understand and interact with graphic information. You will have great difficulty.
  • braille information terminal that delivers text information through a braille cell.
  • This is used as an independent device by providing some functions of computer useful to the visually impaired and as a display output device that outputs text information of computer screen in Braille by screen reader.
  • Both methods serve as an alternative device for performing some limited functions of the computer, instead of acting as an interface for efficient interaction with the computer, or as an output auxiliary device for printing text information in Braille. do.
  • a braille information terminal specialized for braille output has a problem in that it cannot express graphic information like a screen reader.
  • Patent Document 1 Korean Patent Publication No. 10-2012-0063982
  • the present invention provides a tactile interface device capable of interacting with a user, based on data received from a connected external device or data generated inside the tactile interface device.
  • Tactile display unit for providing tactile information to the user;
  • an input sensing unit configured to sense a user input.
  • the tactile interface device further comprises an external device connecting portion that can be connected to an external device, the external device connecting portion is capable of connecting with the external device in a wired communication module unit capable of performing wireless communication. It may include one or more of the wired connection.
  • the tactile interface device may further include a keyboard unit capable of receiving information in a key input form from a user.
  • the tactile interface device may include a speaker unit capable of outputting sound to the outside.
  • the tactile display unit provides tactile information in tactile pixels of one or more dimensions, wherein the tactile pixels are constituted by a plurality of pins moving up and down by applying power to a transducer including a piezoelectric ceramic and an elastic body.
  • a transducer including a piezoelectric ceramic and an elastic body.
  • the tactile display unit a display data receiving unit for receiving the data; A tactile data converter converting the data into tactile display data; And a plurality of pin driving modules driven by the tactile display data, wherein the plurality of pin driving modules may constitute tactile pixels having one or more dimensions.
  • each of the plurality of pin drive module, the transducer for converting the vibration motion into a linear motion A shaft coupled to the transducer; A movable body capable of vertically moving in the axial direction of the shaft on the shaft; And a pin that can move according to the movement of the movable body.
  • the input sensing unit may be performed in a non-contact manner.
  • the input sensing unit emits a plurality of lights, senses the plurality of emitted lights, and has a changed sensing value when a sensing value of the light emitted by physical blocking is changed.
  • the user input may be sensed from the location information of the light.
  • the input sensing unit And a positioning unit, wherein the position sensing module includes a plurality of light emitters and a plurality of light receiving sensors, and the positioning unit may sense a user input from sensing data of the plurality of light receiving sensors.
  • the plurality of light emitters may be disposed along the first axis and the second axis
  • the plurality of light receiving sensors may be disposed along the first axis and the second axis.
  • the present invention provides a tactile interface device that can interact non-visually, tactile display unit that can provide tactile information to the user by a plurality of pins; And an input sensing unit capable of sensing a user input, wherein the tactile display unit displays a tactile pixel of at least one dimension.
  • the haptic pixel may provide tactile information to a user, which is composed of a plurality of pins moving up and down by applying power to a transducer including a piezoelectric ceramic and an elastic body.
  • the tactile display unit master board A display data receiver electrically connected to the master board and receiving primary data for a tactile display; A tactile data converter for converting the primary data received from the display data receiver into data for tactile display; A plurality of slave boards electrically connected to the master board; And a plurality of pin driving modules disposed on an outer surface of each of the plurality of slave boards.
  • the tactile data converter comprises a first tactile data converter disposed on the master board; And a second tactile data converter disposed on the slave board, wherein the first tactile data converter converts the primary data into secondary data as tactile data for each slave board, and converts the second tactile data.
  • the unit may convert the secondary data into tertiary data for driving a group of a plurality of pin driving modules disposed on each slave board.
  • the present invention is a tactile interface method that can interact with the user, based on the primary data received from the connected external device or the primary data generated inside the tactile interface device, A tactile display step of providing tactile information to a user by a plurality of pins; And an input sensing step of sensing a user input in a non-contact manner, wherein the tactile display step and the input sensing step are performed in real time.
  • the tactile display step may provide tactile information by means of tactile pixels represented by a plurality of pins moving up and down by applying power to a transducer including a piezoelectric ceramic and an elastic body.
  • the tactile pixel may be represented by a plurality of pin driving module groups, and each of the pin driving module groups may include a plurality of pin driving modules.
  • the input sensing step the light emitting step of emitting a plurality of light (emitting); A light sensing step of sensing light for each of the plurality of lights at a position spaced at a predetermined distance in a direction in which the light is emitted from a position where the light is emitted; And a user input calculation step of calculating a user input based on the result sensed by the light sensing step.
  • the present invention is a tactile interface device that can interact with the user, based on the data received from the connected external device or the data generated inside the tactile interface device, a plurality of pins Tactile display unit for providing the tactile information to the user by;
  • An input sensing unit sensing a user input in a non-contact manner;
  • An external device connection unit capable of connecting with an external device;
  • a keyboard unit capable of receiving information in a key input form from a user;
  • the tactile display unit, the input sensing unit, and the external device connection unit And a control unit for controlling the operation of the keyboard unit.
  • the tactile display unit displays tactile pixels of one or more dimensions
  • the tactile pixels may be constituted by a plurality of pins that move up and down by applying power to a transducer including a piezoelectric ceramic and an elastic body.
  • the tactile display unit displays tactile pixels of one or more dimensions
  • the tactile pixels may be constituted by a plurality of pins that move up and down by applying power to a transducer including a piezoelectric ceramic and an elastic body.
  • the input sensing unit emits a plurality of lights, senses the plurality of emitted lights, and has a changed sensing value when a sensing value of the light emitted by physical blocking is changed.
  • the user input may be sensed from the location information of the light.
  • the present invention provides a method for sensing a user's input in the interfacing device for providing tactile information, the light emitting step of emitting a plurality of light (emitting); A light sensing step of sensing light for each of the plurality of lights at a position spaced at a predetermined distance in a direction in which the light is emitted from a position where the light is emitted; And a user input calculation step of calculating a user input based on the result sensed by the light sensing step.
  • the light emitting step emits a plurality of light from a plurality of first axis light emitters disposed along a first axis and a plurality of second axis light emitters disposed along a second axis, wherein the light
  • a plurality of lights may be sensed by a first axis light receiving sensor corresponding to a plurality of first axis light emitters and a second axis light receiving sensor corresponding to a plurality of second axis light emitters.
  • the user input calculation step may calculate the user input based on the change value of the received light amount of the plurality of first axis light receiving sensor and the plurality of second axis light receiving sensor.
  • the input sensing step may be performed in a non-contact manner, and an area in which the user may input in the input sensing step may be disposed above the operation area of the pin driving module group.
  • the tactile interface device and the tactile interface method according to the present invention can have an effect that enables the visually impaired to intuitively recognize the items displayed tactilely in real time.
  • the tactile interface device and the tactile interface method according to the present invention can realize the effect that the visually impaired person can immediately input the information based on the perceived information at the same time.
  • the tactile interface device and the tactile interface method according to the present invention based on the tactile display capable of touch and gesture recognition, the visually impaired person recognizes the screen output information of the computer in the form of braille, voice and tactile graphics and immediately and intuitively By enabling information input, the computer can be used effectively in a manner very similar to that of the general public.
  • the tactile interface device and the tactile interface method according to the present invention can solve the problem of the damage of the elevated pin state that can occur in the existing touch-based tactile display through the infrared-based touch recognition device, and the light and fast touch and gesture operation Can recognize the effect.
  • the tactile interface device according to the present invention can exert an effect that it can be easily extended to use various functions of the OS and various application software.
  • the tactile interface device and the tactile interface method according to the present invention can exhibit an effect of providing a visually impaired person with significantly improved work execution speed and convenience when compared to a device such as a conventional screen reader.
  • the tactile interface device and the tactile interface method according to the present invention can have an effect that a visually impaired person can conveniently perform graphics-related tasks that are difficult to perform with a screen reader.
  • the tactile interface device and the tactile interface method according to the present invention can significantly improve the computer literacy of the visually impaired, and have an effect of expanding the computer hardware and software market for the visually impaired.
  • FIG. 1 is a view schematically illustrating the internal structure of a tactile interface device and a user terminal according to an embodiment of the present invention.
  • FIG. 2 is a view schematically showing the internal structure of the tactile interface device according to an embodiment of the present invention.
  • FIG. 3 is a three-dimensional view of the tactile interface device according to an embodiment of the present invention.
  • FIG. 4 is a view three-dimensionally showing the tactile display unit according to an embodiment of the present invention.
  • 5A, 5B, 5C, and 5D show examples of a pin drive module according to an embodiment of the present invention.
  • FIG. 6 is a cross-sectional view of an example of a pin drive module according to an embodiment of the present invention.
  • FIG. 7 is a diagram schematically illustrating a plane of an input sensing unit according to an embodiment of the present invention.
  • FIG. 8 is a diagram schematically illustrating a side of an input sensing unit according to an embodiment of the present invention.
  • FIG. 9 is a view schematically showing the steps of the tactile interface method according to an embodiment of the present invention.
  • FIG. 10 is a view schematically showing the detailed steps of the tactile display step according to an embodiment of the present invention.
  • FIG. 11 is a diagram schematically showing the detailed steps of the input sensing step according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating an example of use of a tactile interface device according to an embodiment of the present invention.
  • FIG. 1 is a view schematically showing the internal structure of the tactile interface device 1000 and the user terminal according to an embodiment of the present invention.
  • the tactile interface device 1000 is connected to the user terminal A in a wired or wireless manner and configured to transmit and receive data.
  • the tactile interface device 1000 may be a user.
  • the graphic signal from the terminal A may be received to provide tactile information.
  • the tactile interface device 1000 unlike in FIG. 1, the tactile interface device 1000 itself operates without an external user terminal by an independent operating system, and the tactile interface device is operated by an operation based on a program and an internal memory inside the tactile interface device 1000. 1000 may operate. However, even in this case, the tactile interface device 1000 may be provided with a communication function.
  • the user terminal A may be a smart phone, a tablet personal computer (PC), a mobile phone, a video phone, an e-book. E-book reader, desktop PC, laptop PC, netbook PC, personal digital assistant (PDA), hereinafter referred to as 'PDA' A portable multimedia player (PMP, hereinafter referred to as PMP), an mp3 player, a mobile medical device, a camera, a wearable device (e.g., Head-mounted devices (HMDs, for example referred to as 'HMD'), electronic clothing, electronic bracelets, electronic necklaces, electronic accessories, electronic tattoos or smart watches (smart watch) and the like.
  • PMP portable multimedia player
  • PMP portable multimedia player
  • PMP mp3 player
  • a mobile medical device e.g., a wearable device
  • HMDs Head-mounted devices
  • 'HMD' electronic clothing
  • electronic bracelets electronic necklaces
  • electronic accessories electronic tattoos or smart watches
  • the tactile interface device 1000 includes an external device connection unit 1100, a tactile display unit 1200, an input sensing unit 1300, and a keyboard unit ( 1400, a controller 1500, and a speaker 1600.
  • the tactile display unit 1200 converts the visual graphic that the computer outputs to the monitor into the tactile graphic and outputs it.
  • the input sensing unit 1300 may be coupled to the tactile display unit 1200.
  • the input sensing unit 1300 recognizes a finger touch of a visually handicapped person and a variety of predetermined gestures for tactile information or tactile graphics output from the tactile display unit 1200 and transmits an input signal to a computer.
  • the keyboard unit 1400 is preferably a braille keyboard that transmits a character input signal to a computer by converting the braille commonly used by the visually-impaired to general characters.
  • the braille keyboard transmits the braille input to the tactile interface device 1000 or the user terminal connected to the tactile interface device 1000 like the braille keyboard which is widely used.
  • the braille keyboard consists of 1 ⁇ 6 points, backspace, space, and enter button, and because the braille consists of several dots to form a single letter, the braille keyboard can transmit the information of the pressed button at the same time.
  • the transmitted braille information is interpreted as a general character through software inside the tactile interface device 1000 or software of the user terminal.
  • the tactile display unit 1200 performs a role like a monitor of a general computer
  • the input sensing unit 1300 performs a role like a touch screen of a mouse or a tablet PC.
  • the keyboard unit 1400 or preferably, the braille keyboard serves as a keyboard of a general computer.
  • FIG. 2 is a view schematically showing the internal structure of the tactile interface device 1000 according to an embodiment of the present invention.
  • the tactile interface device 1000 provides tactile information to a user through a plurality of pins based on data received from a connected external device or data generated inside the tactile interface device 1000.
  • the tactile display unit 1200 provides tactile information in tactile pixels of one or more dimensions, and the tactile pixels are constituted by a plurality of pins which move up and down by applying power to a transducer including a piezoelectric ceramic and an elastic body. .
  • the tactile pixel provides tactile information in two dimensions.
  • the tactile display unit 1200 may include a display data receiver 1210 based on data received from an external user terminal or receiving data generated in the tactile interface device 1000; A tactile data converter 1220 for converting the data into tactile display data; And a plurality of pin drive modules 1230 driven by the tactile display data. And a driving power supply unit 1240 supplied with power for driving the tactile display unit 1200, and provides tactile information or tactile graphics based on the received data.
  • the input sensing unit 1300 emits a plurality of lights, senses the plurality of emitted light, and changes the sensing value when the sensing value of the light emitted by physical blocking is changed. Sensing a user input from position information of light having
  • the input sensing unit 1300 includes a position sensing module 1310; And a positioning unit 1320, wherein the position detecting module 1310 includes a plurality of light emitters and a plurality of light receiving sensors, and the positioning unit 1320 is provided from sensing data of the plurality of light receiving sensors. Sensing user input
  • the light used in the input sensing unit 1300 is infrared rays, and the light is preferably emitted in a form of irradiating a predetermined cross section.
  • the input sensing unit 1300 is disposed adjacent to, or more preferably, coupled to, the tactile display unit 1200 or the pin driving module 1230 of the tactile display unit 1200. Accordingly, the user may recognize the tactile information or the tactile graphic provided from the tactile display unit 1200 as a tactile sense and immediately perform an input or a gesture on the tactile display.
  • the position sensing module 1310 of the input sensing unit 1300 is preferably spaced apart from the pin driving module 1230.
  • an area in which the user may input the input sensing unit 1300 may be spaced apart from an operating area of the pin driving module 1230.
  • an area in which the user can input the input sensing unit 1300 may be disposed at a height higher than the height when the pin driving module 1230 is raised.
  • the plurality of light emitters are disposed along a first axis and a second axis
  • the plurality of light receiving sensors are disposed along a first axis and a second axis
  • the plurality of light receiving sensors are the plurality of light receiving sensors. More preferably, it is arranged to correspond to the light emitter.
  • the external device connection unit 1100 includes at least one of a communication module unit 1110 capable of performing wireless communication and a wired connection unit 1120 that can be connected to the external device in a wired manner.
  • the communication module unit 1110 may include a Bluetooth communication module, a Zigbee communication module, an infrared communication module, a Bluetooth low energy (BLE) communication module, an audio communication module, a long term evolution (LTE) communication module, and WiFi.
  • a communication module an IrDA based infrared communication module, a wireless LAN (WLAN), a WiBro module, and a wireless USB module.
  • the wired connection unit 1120 preferably includes a connection module using a USB (Universal Serial Bus) interface, this is a wired connection module capable of transmitting and receiving data other than this.
  • USB Universal Serial Bus
  • the speaker 1600 has a function of reading the information output in response to the information displayed by the tactile interface device 1000, the text information, or the information input by the input sensing unit 1300 as a voice. Can be done.
  • the controller 1500 may be a general operation of the tactile interface device or the external device connection unit 1100; The keyboard unit 1400; Alternatively, the operation of the speaker unit 1600 is controlled. For example, when data is received from an external user terminal, the data is transmitted to the display data receiver 1210 of the tactile display unit 1200, and commands the operation of the tactile display unit 1200. Alternatively, when a user input is input from the input sensing unit 1300, the controller 1500 processes the input or transmits an input signal to the user terminal A connected through the external device connection unit 1100.
  • the tactile display device may include a CPU and a memory device capable of performing its own operation and may operate independently. Even when it is independently operable, the tactile display may communicate with the outside.
  • 3 is a three-dimensional view of the tactile interface device 1000 according to an embodiment of the present invention.
  • the tactile interface device 1000 is a tactile display in the form of a pixel with components of the tactile display unit 1200 exposed to the outside, specifically, a plurality of pin driving modules 1230. To provide. By the tactile display unit 1200 as described above, the user may tactilely recognize the plurality of pin driving modules 1230 of the tactile display unit 1200.
  • an area through which the user can input an input sensing unit is disposed above the operation area of the pin driving module 1230.
  • the user may tactilely recognize the tactile display and simultaneously input a command through a touch input through the input sensing unit 1300.
  • the 'touch input' is not interpreted as a consultation, and includes both an input of touching the uppermost pin of the pin driving module of the tactile display unit and an input of not touching the uppermost pin of the pin driving module. do.
  • the input sensing unit 1300 is preferably used in the tactile pins unlike the capacitive type sensing the electric capacity change of the surface of the tactile pins used in the general touch display.
  • a non-contact recognition method based on light sensing, more preferably based on infrared sensing, has been introduced. That is, preferably, the input sensing unit is performed in a non-contact manner.
  • the non-contact sensing or non-contact recognition refers to a sensing method in which a sensing element or sensor can recognize a physical operation or a physical form, even though no physical contact is made to the sensing element or sensor.
  • an embodiment of the present invention uses an infrared sensing based recognition scheme.
  • the position sensing module 1310 of the input sensing unit 1300 may be spaced apart from the pin driving module 1230.
  • an area in which the user may input the input sensing unit 1300 may be spaced apart from an operating area of the pin driving module 1230.
  • an area in which the user can input the input sensing unit 1300 may be disposed at a height higher than the height when the pin driving module 1230 is raised.
  • the user may input information to the tactile interface device 1000 through the keyboard unit 1400, for example, to input text information.
  • the tactile interface device 1000 may output voice information to the user through the speaker unit 1600.
  • the tactile interface device 1000 may be connected to an external user terminal through a wired connection unit 1120 or may be connected to an external user terminal through wireless communication through a communication module unit 1110.
  • the GUI elements in the user terminal are tactilely displayed by the tactile interface device 1000, and the user may input a response or an input to the GUI elements through the input sensing unit 1300 or the keyboard.
  • the tactile interface device 1000 may output according to the tactile display unit 1200 or the speaker unit 1600, In the case of a disabled person, a user terminal such as a graphic screen-based PC can be used more intuitively.
  • such a tactile interface device 1000 is not limited to simply recognize the tactile information by the visually impaired person, and can recognize the tactile information and thereby intuitively input a command or the like to the tactile interface device 1000.
  • a user terminal such as a graphic screen-based PC can be used for convenience as a general public.
  • FIG. 4 is a three-dimensional view of the tactile display unit 1200 according to an embodiment of the present invention.
  • the tactile display unit 1200 may display or provide tactile pixels of one or more dimensions. 4 illustrates an example of the tactile display unit 1200 capable of providing two-dimensional tactile pixels.
  • the tactile pixel is constituted by a plurality of pins moving up and down by applying power to a transducer including a piezoelectric ceramic and an elastic body.
  • the tactile pixel is represented by a plurality of pin driving module groups, and each of the pin driving module groups includes a plurality of pin driving modules 1230.
  • the entire pin drive module may constitute one pin drive module group.
  • the tactile display unit 1200 includes a master board 1250; A display data receiver 1210 electrically connected to the master board 1250 and receiving primary data for a tactile display; A tactile data converter 1220 for converting the primary data received from the display data receiver 1210 into data for a tactile display; A plurality of slave boards 1260 electrically connected to the master board 1250; And a plurality of pin driving modules 1230 disposed on an outer surface of each of the plurality of slave boards 1260. And a driving power supply unit 1240 for supplying driving power to the above components through the master board 1250.
  • the driving power supply 1240 is preferably in the form of inputting the power supplied from the outside to the master board 1250.
  • the tactile data converter 1220 may include a first tactile data converter 1221 disposed on the master board 1250; And a second tactile data converter 1222 disposed on the slave board 1260, wherein the first tactile data converter 1221 is configured to convert the primary data into tactile data for each slave board 1260.
  • the second tactile data converter 1222 converts the secondary data into secondary data, and drives the group of the plurality of pin driving modules 1230 disposed on the respective slave boards 1260. Convert to data.
  • the tactile display unit 1200 is a device for converting and transmitting visual graphics into tactile graphics through vertical movement of the pins of the pin driving module 1230 configured in a multiple arrangement. Since the tactile display unit 1200 according to the present invention does not require the configuration of an additional module, as compared to the relay mechanism of the piezoelectric bimorph, which is a structure in which a pin rises when a voltage is applied and a pin falls when a voltage is not applied. It has a structure that can be miniaturized and can be easily arranged in multiples.
  • the tactile display unit 1200 as in the present invention can achieve the effect of miniaturizing the device and at the same time providing a high resolution tactile display.
  • the master board 1250 receives the tactile graphic data input through the display data receiver 1210 and transmits the tactile graphic data to the first tactile data converter 1221.
  • the display data receiver 1210 may be a universal asynchronous receiver / transmitter (UART), and the first tactile data converter 1221 may be a micro controller unit (MCU).
  • UART universal asynchronous receiver / transmitter
  • MCU micro controller unit
  • the first tactile data converter 1221 analyzes the tactile graphic data input through the display data receiver 1210 and transmits the tactile graphic data to the plurality of slave boards 1260.
  • the first tactile data converter 1221 may convert the data based on the information of the plurality of slave boards 1260, and then transfer the data to the slave boards 1260.
  • the first tactile data converter 1221 may convert the tactile graphic data into data corresponding to each slave board 1260, and transfer each converted data to each slave board 1260. It may be.
  • the tactile graphic data transmitted through the display data receiver 1210 may be directly transmitted to the slave board 1260 without the first tactile data converter 1221.
  • the second tactile data converter 1222 embedded in the slave board 1260 may use the data or the data received from the first tactile data converter 1221 using a preprogrammed CPLD (Complex Programmable Logic Device).
  • the data received through the display data receiver 1210 is separated according to each pin drive module array composed of each pin drive module 1230 or a plurality of pin drive modules 1230, and each pin drive module 1230.
  • the operation signal is transmitted to a pin drive module array including a plurality of pin drive modules 1230.
  • the pin of the pin driving module 1230 can move up and down, and preferably, the pin spacing and the rising height are in the range of 1 mm to 10 mm.
  • FIG 5 is a diagram illustrating examples of the pin driving module 1230 according to an embodiment of the present invention.
  • pin driving module 1230 illustrated in FIGS. 5A and 5B will be described.
  • the pin drive module 1230 includes a transducer 1231 which converts vibrational motion into linear motion, respectively; A shaft 1232 connected to the transducer; A movable body 1233 capable of vertically moving in the axial direction of the shaft 1232 on the shaft 1232; And a pin 1234 that can move according to the movement of the movable body 1233.
  • the transducer 1231 includes a plurality of piezoceramic and elastic bodies, and when the power is applied, linearly converts vibration caused by expansion / contraction of the piezoelectric ceramic to move the movable body 1233 up and down.
  • the movement of the movable body 1233 may be controlled.
  • pin driving module 1230 illustrated in FIGS. 5C and 5D will be described.
  • the pin drive module 1230 includes a transducer 1231 for converting the vibration motion into the linear motion, respectively; A shaft 1232 connected to the transducer; A movable body 1233 capable of vertically moving in the axial direction of the shaft 1232 on the shaft 1232; And a pin 1234 that can move according to the movement of the movable body 1233. And a casing part 1235 surrounding the shaft 1232 and having one end of the pin 1234 inserted therein.
  • the transducer 1231 includes a plurality of piezoceramic and elastic bodies, and when the power is applied, linearly converts vibration caused by expansion / contraction of the piezoelectric ceramic to move the movable body 1233 up and down.
  • the movement of the movable body 1233 may be controlled.
  • FIG. 6 is a cross-sectional view of an example of a pin drive module 1230 according to an embodiment of the present invention.
  • the transducer 1231 of the pin driving module 1230 includes a housing 1231.1; a first piezoelectric ceramic 1231.2 and a second piezoelectric ceramic 1231.4 disposed inside the housing 1231.1; And an elastic member 1231.3 disposed between the first piezoelectric ceramic and the second piezoelectric ceramic.
  • the movable body 1233 includes a movable body 1233.1 and a rubber ring 1233.2 disposed inside the movable body 1233.1.
  • the vertical motion of the movable body 1233 can be efficiently controlled by controlling the voltages applied to the first piezoelectric ceramic 121.2 and the second piezoelectric ceramic 121.4.
  • FIG. 7 is a diagram schematically illustrating a plane of an input sensing unit 1300 according to an embodiment of the present invention.
  • the input sensing unit 1300 may perform intuitive interactions and various information inputs of the visually impaired to the tactile graphics output by the tactile display unit 1200.
  • the input sensing unit 1300 may add a finger touch and a finger gesture recognition function by coupling a finger touch recognition device to the tactile display unit 1200.
  • the tactile interface device 1000 expresses tactile graphics by physically raising the tactile pins, and excessive pressure exceeding a force gauge on the tactile pins. When the touch operation of the touched tactile graphic or tactile information output is damaged, it may confuse the information.
  • the input sensing unit 1300 has a relationship with the touch on the tactile pins, unlike the capacitive method for detecting a change in the capacitance of the tactile pin surface used in a general touch display.
  • the input sensing unit is performed in a non-contact manner.
  • the non-contact sensing or non-contact recognition refers to a sensing method in which a sensing element or sensor can recognize a physical operation or a physical form, even though no physical contact is made to the sensing element or sensor.
  • an embodiment of the present invention uses an infrared sensing based recognition scheme.
  • the input sensing unit 1300 of the present invention is designed so that the infrared beams can be projected slightly higher than the maximum height of the raised tactile cell pins, so that a light touch on the output tactile graphics regardless of the vertical movement of the tactile pins. Only the touch operation can be recognized at high speed without damaging the rising state of the pins.
  • various touch-based gestures such as swipe and rotation
  • swipe and rotation can be recognized without physical jamming of the tactile pins, thereby further diversifying the interaction between the blind and the computer.
  • Another advantage of such an input sensing unit 1300 is that it is designed in a detachable manner and can be easily combined with other existing tactile displays, thereby achieving an effect of increasing scalability.
  • the input sensing unit 1300 emits a plurality of lights, senses a plurality of emitted lights, and has a changed sensing value when a sensing value of light emitted by physical blocking is changed.
  • the user input is sensed from the position information of the light.
  • the change in the sensing value of the emitted light includes not only the case where the emitted light is blocked and thus the light cannot be sensed, but also the case where the intensity of the emitted light is weakened.
  • the light used in the input sensing unit 1300 is infrared rays, and the light is emitted in a form of irradiating the light to a predetermined cross section.
  • the input sensing unit 1300, the input sensing unit 1300 is a position sensing module 1310; And a positioning unit 1320, wherein the position detecting module 1310 includes a plurality of light emitters and a plurality of light receiving sensors, and the positioning unit 1320 is provided from sensing data of the plurality of light receiving sensors. Sensing user input
  • the position detecting module 1310 includes a first axis light emitter 1311, a second axis light emitter 1312, a first axis light receiving sensor 1313, and a second axis light receiving sensor 1314. It is preferable to include. With the configuration of the optical emitter and the light receiving sensor, two-dimensional tactile display or tactile pixel can be realized.
  • the first axis light receiving sensor 1313 is disposed at a position spaced apart from the position of the first axis light emitter 1311 by a predetermined distance in the direction of being emitted, and the second axis light receiving sensor 1314 is formed of a first axis light receiving sensor 1314.
  • the biaxial optical emitter 1312 is disposed at a position spaced apart by a predetermined distance in a direction that emits.
  • the plurality of first axis light receiving sensors 1313 may be disposed to correspond to the plurality of first axis light emitters 1311, respectively.
  • the first light receiving sensor corresponding to the first optical emitter and the second corresponding to the second optical emitter
  • a light receiving sensor, a light receiving sensor 3 corresponding to a light emitter 3, and a light receiving sensor 4 corresponding to a light emitter 4 are provided, and one light receiving sensor emits light from a corresponding light emitter. It is desirable to be able to sense the light to be.
  • the number of first axis optical emitters 1311 x the number of second axis optical emitters 1312 is the resolution of the tactile pixel that can be sensed.
  • FIG. 8 is a diagram schematically illustrating a side of the input sensing unit 1300 according to an embodiment of the present invention.
  • the optical emitter and the light receiving sensor of the input sensing unit 1300 are disposed adjacent to, or more preferably, coupled to, the tactile display unit 1200 or the pin driving module 1230 of the tactile display unit 1200. do. Accordingly, the user may recognize the tactile information or the tactile graphic provided from the tactile display unit 1200 as a tactile sense and immediately perform an input or a gesture on the tactile display.
  • the position sensing module 1310 of the input sensing unit 1300 is preferably spaced apart from the pin driving module 1230.
  • an area in which the user may input the input sensing unit 1300 may be spaced apart from an operating area of the pin driving module 1230.
  • an area in which the user can input the input sensing unit 1300 may be disposed at a height higher than the height when the pin driving module 1230 is raised.
  • the maximum ascending height H1 of the pin from the cap layer 1201 having a plurality of holes in which the pins of the pin driving module 1230 are capable of vertical movement is determined from the cap layer 1201.
  • the height more preferably lower than the height H2 from the cap layer to the lowest region of the light irradiated from the light emitter is preferred.
  • FIG. 9 is a view schematically showing the steps of the tactile interface method according to an embodiment of the present invention.
  • a tactile interface method implemented by the tactile interface device described with reference to FIGS. 1 to 8 will be described.
  • portions overlapping with the contents described with reference to FIGS. 1 to 8 will be omitted for convenience.
  • a tactile interface method capable of interacting with a user may be based on a plurality of primary data received from a connected external device or based on primary data generated inside the tactile interface device 1000.
  • the tactile display step and the input sensing step are performed in real time, so that the visually impaired person is not limited to recognizing the tactile information. 1000) can be input such as a command, which can result in an effect that a user terminal, such as a graphic screen-based PC can be used for convenience as a general public.
  • a user terminal such as a graphic screen-based PC can be used for convenience as a general public.
  • FIG. 10 is a view schematically showing the detailed steps of the tactile display step according to an embodiment of the present invention.
  • the tactile display step S10 provides tactile information by means of tactile pixels represented by a plurality of pins moving up and down by applying power to a transducer including a piezoelectric ceramic and an elastic body.
  • the tactile display step includes receiving primary data received from the connected external device or primary data generated inside the tactile interface device 1000 (S11);
  • Slave board transmission step (S14) for transmitting the converted secondary data to each slave board (1260);
  • each slave board 1260 converts the secondary data into tertiary data as a drive signal of a pin drive module array composed of each pin drive module 1230 or a plurality of pin drive modules 1230.
  • the tactile display step is a step of converting and transmitting the visual graphic into a tactile graphic form through the vertical movement of the pins of the pin drive module 1230 configured in a multi-array.
  • the tactile display step as in the present invention, since the pin is raised when the voltage is applied and the pin is lowered when the voltage is not applied, since the configuration of the module does not require an additional module, a miniaturization is required. It can be implemented in a structure that can be easily and multi-array.
  • the tactile display step as in the present invention can achieve the effect of miniaturizing the device and at the same time providing a tactile display of high resolution.
  • the primary data reception step S11 is performed by the master board 1250, receives tactile graphic data input from the outside, and is performed through a universal asynchronous receiver / transmitter (UART) module.
  • UART universal asynchronous receiver / transmitter
  • the slave board information loading step (S12) and the secondary data conversion step (S13) is preferably performed by a MCU (Micro Controller Unit) electrically connected to the master board (1250).
  • MCU Micro Controller Unit
  • the secondary data conversion step S13 analyzes the tactile graphic data input through the primary data receiving step S11. Subsequently, the slave board transmission step S14 transfers the analyzed tactile graphic data to the slave board 1260.
  • the secondary data conversion step S13 may convert the tactile graphic data into data corresponding to each slave board 1260 and transfer each converted data to each slave board 1260. have.
  • the tactile graphic data transmitted through the primary data receiving step S11 may be directly transmitted to the slave board 1260 without the secondary data converting step S13.
  • each of the pin drive module 1230 or the plurality of pin drive modules 1230 includes data received through the data received using a preprogrammed CPLD (Complex Programmable Logic Device). Separated according to the pin drive module array, and transmits the operation signal to the pin drive module array consisting of each pin drive module 1230 or a plurality of pin drive module 1230.
  • CPLD Complex Programmable Logic Device
  • the plurality of slave boards 1260 may be disposed on a single master board 1250 and electrically connected to the master board 1250.
  • FIG. 11 is a diagram schematically showing the detailed steps of the input sensing step according to an embodiment of the present invention.
  • the input sensing step is a method for sensing a user's input in an interfacing device that provides tactile information, and emits a plurality of lights, senses a plurality of the emitted lights, and emits a physical block.
  • the sensing value of the light changes, the user input is sensed from the position information of the light having the changed sensing value.
  • Such an input sensing method can perform intuitive interactions and various information inputs of the visually impaired to the tactile graphics output by the tactile display unit 1200.
  • the input sensing unit 1300 may add a finger touch and a finger gesture recognition function by coupling a finger touch recognition device to the tactile display unit 1200.
  • the photo-emitting step is to emit a plurality of light from a plurality of first axis optical emitter 1311 disposed along a first axis and a plurality of second axis optical emitter 1312 disposed along a second axis
  • the light sensing step may include a first axis light receiving sensor 1313 corresponding to a plurality of first axis light emitters 1311 and a second axis light reception corresponding to a plurality of second axis light emitters 1312. A plurality of light is sensed by the sensor 1314.
  • the user input calculation step the user's input to calculate the user's input based on the change value of the received light amount of the plurality of first axis light receiving sensor 1313 and the plurality of second axis light receiving sensor 1314 Sensing.
  • the tactile interface device 1000 expresses tactile graphics by physically raising the tactile pins, and excessive pressure exceeding a force gauge on the tactile pins. When the touch operation of the touched tactile graphic or tactile information output is damaged, it may confuse the information.
  • the input sensing step in the present invention is based on the light sensing, so that the touch operation can be recognized on the tactile pins, unlike the capacitive method of detecting a change in the capacitance of the tactile pin surface used in a general touch display. More preferably, a non-contact recognition method based on infrared sensing is introduced.
  • the infrared beams are projected to be projected slightly higher than the maximum height of the raised tactile cell pins, so that the pins are only touched on the tactile graphic output regardless of the vertical motion of the tactile pins.
  • the touch operation can be recognized at high speed without compromising the rising state.
  • various touch-based gestures such as swipe and rotation
  • swipe and rotation can be recognized without physical jamming of the tactile pins, thereby further diversifying the interaction between the blind and the computer.
  • FIG. 12 is a diagram illustrating an example of use of the tactile interface device 1000 according to an embodiment of the present invention.
  • a pin may be raised in real time according to a finger movement, and a free drawing function may be performed to draw a graphic freely, and a tactile display or tactile information may be checked in real time In doing so, the user can easily draw the graphic while recognizing the graphic previously drawn.
  • the tactile display device is very similar to a general computer usage method in which ordinary people of normal vision recognize visual information through a monitor and input information through a mouse (or a touch screen of a tablet PC) and a keyboard.
  • a mouse or a touch screen of a tablet PC
  • a keyboard or a touch screen of a tablet PC
  • the functions presented herein may be implemented through hardware, software, firmware, or a combination thereof. If implemented in software, the functions may be stored on or transmitted over as one or more instructions or code on a computer-readable medium.
  • Computer-readable media includes computer storage media and communication media including any medium for facilitating the transfer of a computer program from one place to another.
  • the storage medium may be any available medium that can be accessed by a general purpose computer or a special purpose computer.
  • such computer-readable media may be any of the program code means required in the form of RAM, ROM, EEPROM, CD-ROM or other optical disk storage media, magnetic disk storage media or other magnetic storage devices, or instructions or data structures. Include, but are not limited to, a general purpose computer, special purpose computer, general purpose processor, or any other medium that can be accessed by a special processor.
  • DSPs digital signal processors
  • ASICs application specific semiconductors
  • FPGAs field programmable gate arrays
  • a general purpose processor may be a microprocessor; In alternative embodiments, such a processor may be an existing processor, controller, microcontroller, or state machine.
  • a processor may be implemented as a combination of computing devices, such as, for example, a DSP and a microprocessor, a plurality of microprocessors, one or more microprocessors in conjunction with a DSP core, or a combination of these configurations.
  • various example logics, logic blocks, and modules of the processing units described in connection with aspects disclosed herein may include one or more application specific semiconductors (ASICs), digital signal processors (DSPs), Digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), discrete gate or transistor logic, discrete hardware components, general purpose processors, controllers, micro- It may be implemented in controllers, microprocessors, other electronic units designed to perform the functions described herein, or a combination thereof.
  • a general-purpose processor may be a microprocessor, but in the alternative, may be any existing processor, controller, microcontroller, or state machine.
  • a processor may also be implemented in a combination of computing devices (eg, a DSP and a microprocessor, a plurality of microprocessors, a combination of one or more microprocessors associated with a DSP core, or any other suitable configuration). Additionally, at least one processor may include one or more modules that may implement one or more of the steps and / or operations described herein.
  • aspects or features described herein can be implemented as a method, apparatus, or article of manufacture using standard programming and / or engineering techniques.
  • steps and / or operations of a method or algorithm described in connection with the aspects disclosed herein may be embodied directly in hardware, in a software module executed by a processor, or in a combination thereof.
  • steps or operations of a method or algorithm may be present as at least one or any combination of a set of codes or instructions on a machine-readable medium, or a computer-readable medium, and Can be integrated into computer program objects.
  • article of manufacture, as used herein, is intended to include a computer program accessible from any suitable computer-readable device or medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 일반인의 컴퓨터 사용방식과 유사한 방식으로 시각장애인이 촉각을 이용하여 보다 직관적이고 효율적으로 컴퓨터와 상호작용 할 수 있도록 해주는 촉각 인터페이스장치 및 촉각인터페이스 방법에 관한 것으로서, 본 발명의 일 실시예에 따른 촉각 인터페이스장치는 접속된 외부장치로부터 전송받은 데이터 혹은 상기 촉각 인터페이스장치 내부에서 생성된 데이터에 기초하여, 복수의 핀으로 사용자에게 촉각정보를 제공하는 촉각디스플레이부; 및 사용자 입력을 센싱하는 입력센싱부;를 포함한다.

Description

촉각 인터페이스장치 및 촉각 인터페이스방법
본 발명은 촉각 인터페이스장치 및 촉각 인터페이스방법에 관한 것으로서, 더욱 상세하게는 일반인의 컴퓨터 사용방식과 유사한 방식으로 시각장애인이 촉각을 이용하여 보다 직관적이고 효율적으로 컴퓨터와 상호작용 할 수 있도록 해주는 새로운 개념의 촉각 인터페이스장치 및 촉각인터페이스 방법에 관한 것이다.
정보화 사회에서는 컴퓨터를 이용한 정보습득 및 활용이 필수적이며, 이러한 추세는 일반인 뿐만 아니라 시각장애인에게도 마찬가지이다.
시각장애인의 정보화 수준을 향상시키기 위해서는 그들도 정상인과 유사한 수준으로 정보를 습득하고 활용할 수 있도록 해줘야 하는데, 이는 시각장애인의 일상생활을 보다 편리하게 하고 스스로 정보를 습득하고 활용할 수 있게 해준다는 점에서 중요하다. 또한 이를 통하여 궁극적으로는 시각장애인에게 다양한 교육기회를 제공하여 사회진출 및 참여의 기회를 확대시킴으로써 그들의 복지를 한층 향상시킬 수 있다는 점에서 매우 중요하다고 할 수 있다.
하지만, 현재의 컴퓨터를 사용하는 일반적 방식은 주로 모니터를 통해 출력되는 시각적 정보를 눈으로 인지하고 이에 대하여 키보드, 마우스, 혹은 터치패드 등의 입력도구를 이용하여 정보를 입력하는 방식을 사용하고 있다. 따라서, 시각을 쓸 수 없는 시각장애인이 일반인과 동일한 수준으로 컴퓨터의 출력정보를 인지하고 이에 대한 즉각적인 정보입력과 같은 상호작용을 하는 데에는 큰 한계가 있을 수 밖에 없다. 결과적으로 시각적 장애는 컴퓨터 사용에 있어서의 효율성을 현저히 저하시켜 컴퓨터를 통한 정보습득 및 활용의 기회를 크게 빼앗게 된다.
이러한 시각장애인의 컴퓨터 사용에 있어서의 어려움을 해결하기 위하여 청각, 촉각 등을 사용해 시각적 정보를 인지하고 이를 통해 컴퓨터와 상호작용을 할 수 있도록 다양한 기술들이 개발되어 왔다. 그 대표적인 기술로서, 청각을 통해 시각장애인의 컴퓨터 사용을 보조하는 스크린 리더가 있다. 이는 컴퓨터 화면에 출력되는 내용과 자신이 입력한 키보드 정보를 음성으로 출력하여 컴퓨터를 사용할 수 있도록 도와주는 장치 혹은 소프트웨어이다.
하지만 스크린 리더는 출력화면에 대한 2차원의 공간적 위치정보 없이 한 줄로 이어진 선형화된 정보만으로 출력화면의 Graphic User Interface (GUI) 요소들을 탐색하므로 화면 출력정보 인지에 어려움이 따르며, 특히 출력화면에 포함된 정보가 많으면 많을수록 그 어려움은 현저히 증가하게 된다. 또한 문자나 GUI 요소들 이외에 그림, 도표 등과 같은 다양한 그래픽 정보들에 대해서는 스크린 리더가 텍스트 기반의 간단한 묘사적 설명만을 음성으로 제공하기 때문에 시각장애인이 그래픽 정보를 이해하고 이에 대한 상호작용을 하는 데에 큰 어려움을 가지게 된다.
또 다른 관련 기술로는 점자셀을 통하여 문자정보를 촉각으로 전달해주는 점자정보단말기가 있다. 이는 시각장애인에게 유용한 컴퓨터의 몇몇 기능들을 제공하여 독립적인 장치로 사용되는 방식과 스크린 리더가 분석하는 컴퓨터 화면의 텍스트 정보를 점자로 출력해주는 화면출력 보조장치로 사용하는 방식이 있다. 두 가지 방식 모두 컴퓨터와의 효율적 상호작용을 위한 인터페이스 역할 보다는, 컴퓨터 대용으로 컴퓨터의 몇 몇 제한된 기능들만을 수행하는 대체 기기의 역할을 하거나 혹은 문자정보를 점자로 출력해주는 출력보조 장치의 역할 만을 하게 된다. 특히, 점자 출력에 특화된 점자정보단말기는 스크린 리더와 마찬가지로 그래픽 정보를 표현할 수 없다는 문제점을 가지고 있다.
선행기술문헌 : (특허문헌 1) 한국공개특허번호 10-2012-0063982
본 발명의 목적은 일반인의 컴퓨터 사용방식과 유사한 방식으로 시각장애인이 촉각을 이용하여 보다 직관적이고 효율적으로 컴퓨터와 상호작용 할 수 있도록 해주는 새로운 개념의 촉각 인터페이스장치 및 촉각인터페이스 방법을 제공하는 것이다
상기와 같은 과제를 해결하기 위하여 본 발명은, 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치로서, 접속된 외부장치로부터 전송받은 데이터 혹은 상기 촉각 인터페이스장치 내부에서 생성된 데이터에 기초하여, 복수의 핀으로 사용자에게 촉각정보를 제공하는 촉각디스플레이부; 및 사용자 입력을 센싱하는 입력센싱부;를 포함하는, 촉각 인터페이스장치를 제공한다.
본 발명에서는, 상기 촉각 인터페이스장치는, 외부장치와 접속할 수 있는 외부장치접속부를 더 포함하고, 상기 외부장치접속부는 무선통신을 수행할 수 있는 통신모듈부 및 유선적으로 상기 외부장치와 접속할 수 있는 유선연결부 중 1 이상을 포함할 수 있다.
본 발명에서는, 상기 촉각 인터페이스장치는, 사용자로부터 키입력 형태로 정보를 입력받을 수 있는 키보드부를 더 포함할 수 있다.
본 발명에서는, 상기 촉각 인터페이스장치는, 외부로 사운드 출력을 할 수 있는 스피커부를 포함할 수 있다.
본 발명에서는, 상기 촉각디스플레이부는 1 이상의 차원의 촉각픽셀로 촉각정보를 제공하고, 상기 촉각픽셀은 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀에 의하여 구성될 수 있다.
본 발명에서는, 상기 촉각디스플레이부는, 상기 데이터를 입력받는 표시데이터수신부; 상기 데이터를 촉각디스플레이데이터로 변환하는 촉각데이터변환부; 및 상기 촉각디스플레이데이터에 의하여 구동하는 복수의 핀구동모듈;을 포함하고, 상기 복수의 핀구동모듈은 1 이상의 차원의 촉각픽셀을 구성할 수 있다.
본 발명에서는, 상기 복수의 핀구동모듈은 각각, 진동운동을 선형운동으로 변환하는 트랜스듀서; 상기 트랜스듀서에 연결되는 샤프트; 상기 샤프트 상에서 상기 샤프트의 축 방향으로 상하 운동할 수 있는 이동체; 및 상기 이동체의 움직임에 따라서 이동할 수 있는 핀;을 포함할 수 있다.
본 발명에서는, 상기 입력센싱부는 비접촉방식으로 수행될 수 있다.
본 발명에서는, 상기 입력센싱부는, 복수의 광을 에미팅(emitting)하고, 에미팅된 복수의 광을 센싱하고, 물리적인 차단으로 에미팅된 광의 센싱값이 변화하는 경우, 변화된 센싱값을 갖는 광의 위치정보로부터 사용자 입력을 센싱할 수 있다.
본 발명에서는, 상기 입력센싱부는 위치감지모듈; 및 위치결정부를 포함하고, 상기 위치감지모듈은 복수의 광에미터 및 복수의 수광센서를 포함하고, 상기 위치결정부는 상기 복수의 수광센서의 센싱 데이터로부터 사용자 입력을 센싱할 수 있다.
본 발명에서는, 상기 복수의 광에미터는 제1축 및 제2축을 따라 배치되어 있고, 상기 복수의 수광센서는 제1축 및 제2축을 따라 배치되어 있을 수 있다.
상기와 같은 과제를 해결하기 위하여, 본 발명은 비시각적으로 상호작용을 할 수 있는 촉각 인터페이스장치로서, 복수의 핀에 의하여 사용자에게 촉각 정보를 제공할 수 있는 촉각디스플레이부; 및 사용자 입력을 센싱할 수 있는 입력센싱부를 포함하고, 상기 촉각디스플레이부는 1 이상의 차원의 촉각픽셀을 표시하는, 촉각인터페이스장치를 제공한다.
본 발명에서는, 상기 촉각픽셀은 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀에 의하여 구성되는, 사용자에게 촉각 정보를 제공할 수 있다.
본 발명에서는, 상기 촉각디스플레이부는 마스터보드; 상기 마스터보드에 전기적으로 접속되고, 촉각디스플레이를 위한 1차데이터를 수신하는 표시데이터수신부; 상기 표시데이터수신부로부터 전송받은 상기 1차데이터를 촉각디스플레이를 위한 데이터로 변환하는, 촉각데이터변환부; 상기 마스터보드에 전기적으로 접속되는 복수의 슬레이브보드; 및 상기 복수의 슬레이브보드 각각의 외면에 배치된 복수의 핀구동모듈을 포함할 수 있다.
본 발명에서는, 상기 촉각데이터변환부는 상기 마스터보드에 배치되는 제1 촉각데이터변환부; 및 상기 슬레이브보드에 배치되는 제2 촉각데이터변환부를 포함하고, 상기 제1 촉각데이터변환부는 상기 1차데이터를 각각의 슬레이브보드에 대한 촉각데이터로서의 2차데이터로 변환하고, 상기 제2 촉각데이터변환부는 상기 2차데이터를 각각의 슬레이브보드에 배치된 복수의 핀구동모듈의 그룹을 구동하기 위한 3차데이터로 변환할 수 있다.
상기와 같은 과제를 해결하기 위하여, 본 발명은 사용자와 상호작용을 할 수 있는 촉각 인터페이스방법으로서, 접속된 외부장치로부터 전송받은 1차 데이터 혹은 촉각 인터페이스장치 내부에서 생성된 1차 데이터에 기초하여, 복수의 핀에 의하여 사용자에게 촉각정보를 제공하는 촉각디스플레이단계; 및 비접촉 방식으로 사용자 입력을 센싱하는 입력센싱단계;를 포함하고, 상기 촉각디스플레이단계 및 상기 입력센싱단계는 실시간으로 수행되는, 촉각 인터페이스방법을 제공한다.
본 발명에서는 상기 촉각디스플레이단계는, 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀으로 표시되는 촉각픽셀에 의하여 촉각정보를 제공할 수 있다.
본 발명에서는, 상기 촉각픽셀은 복수의 핀구동모듈 그룹에 의하여 표시되고, 각각의 상기 핀구동모듈 그룹은 복수의 핀구동모듈로 이루어질 수 있다.
본 발명에서는, 상기 입력센싱단계는, 복수의 광을 에미팅(emitting)하는 광에미팅단계; 각각의 복수의 광에 대하여, 광이 에미팅되는 위치로부터 에미팅되는 방향으로 기설정된 거리로 이격된 위치에서 광을 센싱하는 광센싱단계; 및 상기 광센싱단계에서 센싱된 결과를 기초로 사용자의 입력을 계산하는 사용자입력계산단계;를 포함할 수 있다.
상기와 같은 과제를 해결하기 위하여, 본 발명은 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치로서, 접속된 외부장치로부터 전송받은 데이터 혹은 상기 촉각 인터페이스장치 내부에서 생성된 데이터에 기초하여, 복수의 핀에 의하여 사용자에게 촉각정보를 제공하는 촉각디스플레이부; 비접촉 방식으로 사용자 입력을 센싱하는 입력센싱부; 외부장치와 접속할 수 있는 외부장치접속부; 사용자로부터 키입력 형태로 정보를 입력받을 수 있는 키보드부; 및 상기 촉각디스플레이부, 상기 입력센싱부, 상기 외부장치접속부; 및 상기 키보드부의 작동을 제어하는 제어부를 포함하는, 촉각 인터페이스장치를 제공한다.
본 발명에서는, 상기 촉각디스플레이부는 1 이상의 차원의 촉각픽셀을 표시하고, 상기 촉각픽셀은 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀에 의하여 구성될 수 있다.
본 발명에서는, 상기 촉각디스플레이부는 1 이상의 차원의 촉각픽셀을 표시하고, 상기 촉각픽셀은 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀에 의하여 구성될 수 있다.
본 발명에서는, 상기 입력센싱부는, 복수의 광을 에미팅(emitting)하고, 에미팅된 복수의 광을 센싱하고, 물리적인 차단으로 에미팅된 광의 센싱값이 변화하는 경우, 변화된 센싱값을 갖는 광의 위치정보로부터 사용자 입력을 센싱할 수 있다.
상기와 같은 과제를 해결하기 위하여, 본 발명은 촉각정보를 제공하는 인터페이싱장치에서 사용자의 입력을 센싱하는 방법으로서, 복수의 광을 에미팅(emitting)하는 광에미팅단계; 각각의 복수의 광에 대하여, 광이 에미팅되는 위치로부터 에미팅되는 방향으로 기설정된 거리로 이격된 위치에서 광을 센싱하는 광센싱단계; 및 상기 광센싱단계에서 센싱된 결과를 기초로 사용자의 입력을 계산하는 사용자입력계산단계;를 포함하는, 사용자의 입력을 센싱하는 방법을 제공한다.
본 발명에서는, 상기 광에미팅단계는 제1축을 따라 배치된 복수의 제1축 광에미터 및 제2축을 따라 배치된 복수의 제2축 광에미터로부터 복수의 광을 에미팅하고, 상기 광센싱단계는 복수의 상기 제1축 광에미터에 대응하는 제1축 수광센서 및 복수의 상기 제2축 광에미터에 대응하는 제2축 수광센서에 의하여 복수의 광을 센싱할 수 있다.
본 발명에서는, 상기 사용자입력계산단계는 복수의 상기 제1축 수광센서 및 복수의 상기 제2축 수광센서의 수신광량의 변화값을 기초로 사용자의 입력을 계산할 수 있다.
본 발명에서는, 상기 입력센싱단계는 비접촉방식으로 수행되고, 사용자가 입력센싱단계에 입력을 할 수 있는 영역은 상기 핀구동모듈 그룹의 작동영역의 위에 배치되어 있을 수도 있다.
본 발명에 따른 촉각 인터페이스장치 및 촉각인터페이스 방법은, 시각장애인들로 하여금 실시간으로 촉각적으로 디스플레이되는 사항들을 직관적으로 인지할 수 있게 하는 효과를 발휘할 수 있다.
또한, 본 발명에 따른 촉각 인터페이스장치 및 촉각 인터페이스방법은, 시각장애인들로 하여금 촉각적으로 정보를 인지하면서 동시에 인지된 정보에 기반하여 즉각적으로 입력을 할 수 있는 효과를 발휘할 수 있다.
또한, 본 발명에 따른 촉각 인터페이스장치 및 촉각인터페이스 방법은 터치 및 제스처 인식이 가능한 촉각 디스플레이를 기반으로 시각장애인이 컴퓨터의 화면출력 정보를 점자, 음성 및 촉각 그래픽의 형태로 인지하고 이에 대한 즉각적이고 직관적 정보입력을 할 수 있게 하여 일반인과 매우 유사한 방식으로 컴퓨터를 효율적으로 사용할 수 있게 하는 효과를 발휘할 수 있다.
또한, 본 발명에 따른 촉각 인터페이스장치 및 촉각인터페이스 방법은 적외선 기반의 터치인식 장치를 통해 기존 터치기반의 촉각 디스플레이에서 발생할 수 있는 상승된 핀 상태의 훼손 문제를 해결할 수 있고 가볍고 빠른 터치 및 제스처 동작을 인식하는 효과를 발휘할 수 있다.
또한, 본 발명에 따른 촉각 인터페이스장치는 OS의 다양한 기능들과 다양한 어플리케이션 소프트웨어 들을 사용할 수 있도록 쉽게 확장이 가능하다는 효과를 발휘할 수 있다.
또한, 본 발명에 따른 촉각 인터페이스장치 및 촉각인터페이스 방법은, 시각장애인들에게 종래의 스크린리더 등의 장치와 비교시 현저히 향상된 작업 수행속도 및 편의성을 제공할 수 있는 효과를 발휘할 수 있다.
또한, 본 발명에 따른 촉각 인터페이스장치 및 촉각인터페이스 방법은, 시각장애인들이 스크린리더로는 수행하기 어려운 그래픽 관련 작업들을 편리하게 수행할 수 있는 효과를 발휘할 수 있다.
또한, 본 발명에 따른 촉각 인터페이스장치 및 촉각 인터페이스방법은, 시각장애인의 컴퓨터 활용능력을 크게 향상시키고, 시각장애인용 컴퓨터 하드웨어 및 소프트웨어 시장을 확대할 수 있는 효과를 발휘할 수 있다.
도 1은 본 발명의 일 실시예에 따른 촉각 인터페이스장치와 사용자단말기의 내부 구조를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 촉각 인터페이스장치의 내부 구조를 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 입체적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 촉각디스플레이부를 입체적으로 도시한 도면이다.
도 5A, 5B, 5C, 및 5D는 본 발명의 일 실시예에 따른 핀구동모듈을 예들을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 핀구동모듈의 예의 단면을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 입력센싱부의 평면을 개략적으로 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 입력센싱부의 측면을 개략적으로 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 촉각 인터페이스방법의 단계를 개략적으로 도시하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 촉각디스플레이단계의 세부단계를 개략적으로 도시하는 도면이다.
도 11은 본 발명의 일 실시예에 따른 입력센싱단계의 세부단계를 개략적으로 도시하는 도면이다.
도 12는 본 발명의 일 실시예에 따른 촉각 인터페이스장치의 사용예를 도시하는 도면이다.
본원의 양상들, 특징들 및 이점들은 하기의 실시예들 및 첨부된 도면들을 참고함으로써 이해될 것이다. 다른 도면들의 동일한 참조 번호들은 동일 또는 유사한 요소들을 나타낼 수 있다. 또한, 하기의 서술은 본 발명을 제한하지 않고, 오히려 본 발명의 범위는 첨부된 청구항들 및 등가물들에 의해 정의된다.
도 1은 본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)와 사용자단말기의 내부 구조를 개략적으로 도시한 도면이다.
도 1에 도시된 바와 같이, 촉각 인터페이스장치(1000)는 사용자단말기(A)와 유선적 혹은 무선적으로 접속되어, 데이터를 송수신할 수 있게 구성되고, 예를 들어 촉각 인터페이스장치(1000)는 사용자단말기(A)로부터의 그래픽 신호를 전송받아 촉각정보를 제공할 수 있다. 다만, 본 발명은 도 1과 달리 외부의 사용자 단말기 없이 촉각 인터페이스장치(1000) 자체가 독자적인 운영체제에 의하여 동작하고, 촉각 인터페이스장치(1000) 내부의 프로그램 및 내부의 메모리에 기초한 동작에 의하여 촉각 인터페이스장치(1000)가 작동할 수도 있다. 다만, 이 경우에도, 촉각 인터페이스장치(1000)에 통신기능이 구비될 수도 있다.
한편, 상기 사용자단말기(A)는 스마트 폰(smart phone)과, 태블릿(tablet) 개인용 컴퓨터(personal computer: PC, 이하 'PC'라 칭하기로 한다)와, 이동 전화기와, 화상 전화기와, 전자책 리더(e-book reader)와, 데스크 탑(desktop) PC와, 랩탑(laptop) PC와, 넷북(netbook) PC와, 개인용 복합 단말기(personal digital assistant: PDA, 이하 'PDA'라 칭하기로 한다)와, 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 'PMP'라 칭하기로 한다)와, 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스와, 카메라와, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 'HMD'라 칭하기로 한다)와, 전자 의류와, 전자 팔찌와, 전자 목걸이와, 전자 앱세서리(appcessory)와, 전자 문신, 혹은 스마트 워치(smart watch) 등이 될 수 있다.
본 발명의 일실시예에 따른 촉각 인터페이스장치(1000)는 도 1 혹은 도 3에 도시된 바와 같이, 외부장치접속부(1100), 촉각디스플레이부(1200), 입력센싱부(1300), 키보드부(1400), 제어부(1500), 및 스피커부(1600)를 포함한다. 촉각디스플레이부(1200)는 컴퓨터가 모니터로 출력하는 시각 그래픽을 촉각 그래픽으로 변환하여 출력한다.
한편, 상기 입력센싱부(1300)는 촉각디스플레이부(1200)와 결합되는 형태가 바람직하다. 이와 같은 입력센싱부(1300)는 촉각디스플레이부(1200)에서 출력된 촉각정보 혹은 촉각 그래픽 에 대한 시각장애인의 손가락 터치와 미리 정해진 다양한 제스처들을 인식하여 컴퓨터에 입력신호를 전달한다. 한편 키보드부(1400)는, 바람직하게는 현재 시각장애인들이 일반적으로 많이 사용하는 점자를 일반문자로 변환하여 컴퓨터에 문자 입력신호를 전달하는 점자키보드임이 바람직하다.
점자키보드는 기존에 널리 쓰이고 있는 점자키보드와 마찬가지로 점자를 입력 받아 촉각 인터페이스장치(1000) 혹은 촉각 인터페이스장치(1000)에 연결된 사용자 단말기에 전달한다. 점자키보드는 1~6점, 백스페이스, 스페이스, 엔터 버튼으로 구성되며, 점자는 여러 개의 점이 모여 하나의 글자를 구성하기 때문에 점자키보드는 동시에 눌린 버튼의 정보를 전송할 수 있다. 전송된 점자정보는 촉각 인터페이스장치(1000) 내부의 소프트웨어 혹은 사용자단말기의 소프트웨어를 통하여 일반문자(general character)로 점역된다.
따라서, 시각장애인을 위한 컴퓨터 입출력 기능을 위하여, 촉각디스플레이부(1200)는 일반 컴퓨터의 모니터와 같은 역할을 수행하고, 입력센싱부(1300)는 마우스 혹은 태블릿 PC의 터치스크린과 같은 역할을 수행하며, 키보드부(1400), 혹은 바람직하게는 점자키보드는 일반 컴퓨터의 키보드의 역할을 수행하게 된다.
도 2는 본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)의 내부 구조를 개략적으로 도시한 도면이다.
본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)는 접속된 외부장치로부터 전송받은 데이터 혹은 상기 촉각 인터페이스장치(1000) 내부에서 생성된 데이터에 기초하여, 복수의 핀으로 사용자에게 촉각정보를 제공하는 촉각디스플레이부(1200); 사용자 입력을 센싱하는 입력센싱부(1300); 외부장치와 접속할 수 있는 외부장치접속부(1100); 사용자로부터 키입력 형태로 정보를 입력받을 수 있는 키보드부(1400); 외부로 사운드 출력을 할 수 있는 스피커부(1600); 및 상기 촉각디스플레이부(1200), 상기 입력센싱부(1300), 상기 외부장치접속부(1100), 상기 키보드부(1400), 및 상기 스피커부(1600)의 작동을 제어하는 제어부(1500);를 포함한다.
상기 촉각디스플레이부(1200)는 1 이상의 차원의 촉각픽셀로 촉각정보를 제공하고, 상기 촉각픽셀은 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀에 의하여 구성된다. 바람직하게는 상기 촉각픽셀은 2차원으로 촉각정보를 제공한다.
이와 같은 촉각디스플레이부(1200)는, 외부의 사용자단말기로부터 전송받은 데이터에 기초거나 혹은 촉각 인터페이스장치(1000) 내부에서 생성된 데이터를 입력받는 표시데이터수신부(1210); 상기 데이터를 촉각디스플레이데이터로 변환하는 촉각데이터변환부(1220); 및 상기 촉각디스플레이데이터에 의하여 구동하는 복수의 핀구동모듈(1230); 및 촉각디스플레이부(1200)를 구동하는 전원을 공급받는 구동전원공급부(1240);를 포함하고, 입력받은 데이터에 기초하여 촉각정보 혹은 촉각 그래픽을 제공한다.
한편, 상기 입력센싱부(1300)는, 복수의 광을 에미팅(emitting)하고, 에미팅된 복수의 광을 센싱하고, 물리적인 차단으로 에미팅된 광의 센싱값이 변화하는 경우, 변화된 센싱값을 갖는 광의 위치정보로부터 사용자 입력을 센싱한다.
구체적으로, 상기 입력센싱부(1300)는 위치감지모듈(1310); 및 위치결정부(1320)를 포함하고, 상기 위치감지모듈(1310)은 복수의 광에미터 및 복수의 수광센서를 포함하고, 상기 위치결정부(1320)는 상기 복수의 수광센서의 센싱 데이터로부터 사용자 입력을 센싱한다.
바람직하게는 상기 입력센싱부(1300)에서 사용되는 광은 적외선이고, 상기 광은 일정 단면에 조사하는 형태로 에미팅됨이 바람직하다.
이와 같은 입력센싱부(1300)는 상기 촉각디스플레이부(1200) 혹은 상기 촉각디스플레이부(1200)의 핀구동모듈(1230)에 인접하게, 혹은 더욱 바람직하게는 결합되어 배치된다. 따라서, 사용자는 촉각디스플레이부(1200)로부터 제공되는 촉각정보 혹은 촉각 그래픽을 촉각으로서 인지하고 바로 촉각디스플레이 상에서 입력 혹은 제스처 등을 수행할 수 있다.
다만, 사용자가 상기 입력센싱부(1300)로 입력을 수행하는 경우, 사용자의 손가락이 촉각디스플레이부(1200)의 핀구동모듈(1230)에 강하게 접촉이 되어 핀구동모듈(1230)이 손상되는 것을 방지하기 위하여, 상기 입력센싱부(1300)의 상기 위치감지모듈(1310)은 상기 핀구동모듈(1230)로부터 이격되어 배치됨이 바람직하다. 혹은, 사용자가 입력센싱부(1300)에 입력할 수 있는 영역은 상기 핀구동모듈(1230)의 작동영역으로부터 이격되어 있음이 바람직하다. 혹은, 사용자가 입력센싱부(1300)에 입력할 수 있는 영역은 핀구동모듈(1230)이 상승하였을 때 높이보다 높은 높이에 배치됨이 바람직하다.
한편, 상기 복수의 광에미터는 제1축 및 제2축을 따라 배치되어 있고, 상기 복수의 수광센서는 제1축 및 제2축을 따라 배치되어 있는 것이 바람직하고, 상기 복수의 수광센서는 상기 복수의 광에미터에 대응되도록 배치됨이 더욱 바람직하다.
상기 외부장치접속부(1100)는 무선통신을 수행할 수 있는 통신모듈부(1110) 및 유선적으로 상기 외부장치와 접속할 수 있는 유선연결부(1120) 중 1 이상을 포함한다. 상기 통신모듈부(1110)는 블루투스(bluetooth) 통신 모듈, 지그비(zigbee) 통신 모듈, 적외선 통신 모듈, BLE(bluetooth low energy) 통신 모듈, 오디오 통신 모듈, LTE(long term evolution) 통신 모듈, 및 WiFi 통신 모듈, IrDA 기반의 적외선 통신 모듈, 무선 랜(WLAN), 와이브로(WiBro) 모듈, 무선 USB(Wireless USB) 모듈, 중 적어도 하나를 포함한다. 한편, 상기 유선연결부(1120)는 USB(Universal Serial Bus) 인터페이스를 이용한 연결모듈을 포함하는 것이 바람직하고, 이외의 데이터의 송수신을 수행할 수 있는 유선연결모듈이 이에 해당한다.
한편, 상기 스피커부(1600)는 촉각 인터페이스장치(1000)에서 촉각 디스플레이되는 정보, 문자정보, 혹은 상기 입력센싱부(1300)에 의하여 입력된 정보에 반응하여 출력되는 정보를 음성으로 읽어주는 기능을 수행할 수 있다.
상기 제어부(1500)는 상기 촉각 인터페이스장치의 전체적인 작동이나, 상기 외부장치접속부(1100); 상기 키보드부(1400); 혹은 상기 스피커부(1600)의 작동을 제어한다. 예를 들어, 외부의 사용자 단말기로부터 데이터가 수신되는 경우 이를 촉각디스플레이부(1200)의 표시데이터수신부(1210)로 송신하고, 촉각디스플레이부(1200)의 작동을 명령한다. 혹은, 상기 입력센싱부(1300)로부터 사용자의 입력이 입력되는 경우, 제어부(1500)에서 입력을 처리하거나 혹은 상기 외부장치접속부(1100)를 통하여 연결된 사용자 단말기(A)로 입력신호를 전송한다.
만약, 상기 촉각 디스플레이장치가 외부의 사용자 단말기와 접속되는 경우가 아니라, 자체적인 OS 와 어플리케이션으로 작동되는 경우, 자체적인 연산이 가능한 수준의 CPU 및 메모리 장치를 포함하고, 독립적으로 작동할 수 있다. 독립적으로 작동가능한 경우에도, 상기 촉각 디스플레이장치는 외부와 통신을 수행할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)를 입체적으로 도시한 도면이다.
도 3에 도시된 바와 같이, 본 발명에 따른 촉각 인터페이스장치(1000)는 외부로 노출된 촉각디스플레이부(1200)의 구성요소, 구체적으로는 복수의 핀구동모듈(1230)로 픽셀형태의 촉각디스플레이를 제공한다. 이와 같은 촉각디스플레이부(1200)에 의하여 사용자는 촉각디스플레이부(1200)의 복수의 핀구동모듈(1230)을 촉각적으로 인지할 수 있다.
또한, 도 3에 도시된 바와 같이 사용자가 입력센싱부에 입력을 할 수 있는 영역은 상기 핀구동모듈(1230)의 작동영역의 위에 배치되어 있다.
한편, 사용자는 촉각적으로 촉각디스플레이를 인지하면서 동시에 상기 입력센싱부(1300)를 통하여 터치입력으로 명령 등을 입력할 수 있다. 여기서 '터치입력'은 협의로 해석되지 않고, 촉각디스플레이부의 핀구동모듈의 최상측의 핀을 살짝 터치하면서 입력하는 입력 및 상기 핀구동모듈의 최상측의 핀을 터치하지 않는 형태의 입력을 모두 포함한다.
바람직하게는, 사용자가 상기 입력센싱부(1300)로 입력을 수행하는 경우, 사용자의 손가락이 촉각디스플레이부(1200)의 핀구동모듈(1230)에 강하게 접촉이 되어 핀구동모듈(1230)이 손상되는 것을 방지하기 위하여, 바람직하게는, 본 발명에서의 입력센싱부(1300)는 일반적인 터치디스플레이에서 사용되는 촉각핀 표면의 정전용량 (electric capacity) 변화를 감지하는 정전용량 방식과는 달리 촉각핀들에 대한 터치와 관련없이 동작, 입력, 제스처 등이 인식 될 수 있도록 광 센싱기반, 더욱 바람직하게는 적외선 센싱기반의 비접촉 인식 방식을 도입하였다. 즉, 바람직하게는, 상기 입력센싱부는 비접촉방식으로 수행된다.
본 명세서에서 비접촉방식의 센싱, 혹은 비접촉방식의 인식은 센싱을 하는 요소 혹은 센서에 물리적인 접촉을 하지 않더라도, 센싱을 하는 요소 혹은 센서가 물리적 동작 혹은 물리적 형태를 인식할 수 센싱방법을 지칭하고, 이러한 예로서 본 발명의 일 실시예에서는 적외선 센싱기반의 인식 방식을 사용한다.
또한, 도 3에 도시된 바와 같이 상기 입력센싱부(1300)의 상기 위치감지모듈(1310)은 상기 핀구동모듈(1230)로부터 이격되어 배치됨이 바람직하다. 혹은, 사용자가 입력센싱부(1300)에 입력할 수 있는 영역은 상기 핀구동모듈(1230)의 작동영역으로부터 이격되어 있음이 바람직하다. 혹은, 사용자가 입력센싱부(1300)에 입력할 수 있는 영역은 핀구동모듈(1230)이 상승하였을 때 높이보다 높은 높이에 배치됨이 바람직하다.
한편, 사용자는 구체적인 정보를 입력하기 위하여, 예를 들어 텍스트 정보를 입력하기 위하여 키보드부(1400)를 통하여, 상기 촉각 인터페이스장치(1000)에 정보 입력을 수행할 수 있다.
또한, 텍스트의 음성 혹은 사운드 정보를 사용자에게 출력하기 위하여, 상기 촉각 인터페이스장치(1000)는 스피커부(1600)를 통하여 사용자에게 음성정보를 출력할 수 있다.
도 3에 도시된 바와 같이, 촉각 인터페이스장치(1000)는 유선연결부(1120)를 통하여 외부의 사용자단말기에 접속하거나 혹은 통신모듈부(1110)를 통하여 무선통신으로 외부의 사용자단말기에 접속할 수 있다. 이 경우, 사용자단말기에서의 GUI 요소들을 촉각 인터페이스장치(1000)에서 촉각적으로 표시하고, 사용자는 GUI 요소들에 대한 반응 혹은 입력을 상기 입력센싱부(1300) 혹은 키보드를 통하여 입력할 수 있다. 또한, 사용자가 상기 입력센싱부(1300)를 통하여 입력한 명령에 따라서, 상기 촉각 인터페이스장치(1000)는 상기 촉각디스플레이부(1200) 혹은 스피커부(1600)에 따라 출력을 할 수도 있기 때문에, 시각장애인의 경우 그래픽 화면 기반의 PC 등의 사용자 단말기를 보다 직관적으로 이용할 수 있다.
또한, 이와 같은 촉각 인터페이스장치(1000)는 단순히 시각장애인이 촉각정보를 인지하는 것에 한정되는 것이 아니라, 촉각정보를 인지하고 그에 따라 직관적으로 촉각 인터페이스장치(1000)에 명령 등의 입력을 수행할 수 있고, 이는 결과적으로 그래픽 화면 기반의 PC 등의 사용자 단말기를 일반인과 같은 편의성으로 사용할 수 있는 효과를 발휘할 수 있다.
도 4는 본 발명의 일 실시예에 따른 촉각디스플레이부(1200)를 입체적으로 도시한 도면이다.
상기 촉각디스플레이부(1200)는 1 이상의 차원의 촉각픽셀을 표시 혹은 제공할 수 있다. 도 4에서는 2차원의 촉각픽셀을 제공할 수 있는 촉각디스플레이부(1200)의 일예를 도시한다. 상기 촉각픽셀은 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀에 의하여 구성된다.
구체적으로, 상기 촉각픽셀은 복수의 핀구동모듈 그룹에 의하여 표시되고, 각각의 상기 핀구동모듈 그룹은 복수의 핀구동모듈(1230)로 이루어진다. 혹은 전체의 핀구동모듈이 하나의 핀구동모듈 그룹을 구성할 수도 있다.
구체적으로, 상기 촉각디스플레이부(1200)는 마스터보드(1250); 상기 마스터보드(1250)에 전기적으로 접속되고, 촉각디스플레이를 위한 1차데이터를 수신하는 표시데이터수신부(1210); 상기 표시데이터수신부(1210)로부터 전송받은 상기 1차데이터를 촉각디스플레이를 위한 데이터로 변환하는, 촉각데이터변환부(1220); 상기 마스터보드(1250)에 전기적으로 접속되는 복수의 슬레이브보드(1260); 및 상기 복수의 슬레이브보드(1260) 각각의 외면에 배치된 복수의 핀구동모듈(1230); 및 상기 마스터보드(1250)를 통하여 위의 구성요소들에게 구동전원을 공급하는 구동전원공급부(1240)를 포함한다.
상기 구동전원공급부(1240)는 외부로부터 공급받은 전원을 상기 마스터보드(1250)에 입력하는 형태임이 바람직하다.
한편, 상기 촉각데이터변환부(1220)는 상기 마스터보드(1250)에 배치되는 제1 촉각데이터변환부(1221); 및 상기 슬레이브보드(1260)에 배치되는 제2 촉각데이터변환부(1222)를 포함하고, 상기 제1 촉각데이터변환부(1221)는 상기 1차데이터를 각각의 슬레이브보드(1260)에 대한 촉각데이터로서의 2차데이터로 변환하고, 상기 제2 촉각데이터변환부(1222)는 상기 2차데이터를 각각의 슬레이브보드(1260)에 배치된 복수의 핀구동모듈(1230)의 그룹을 구동하기 위한 3차데이터로 변환한다.
상기 촉각디스플레이부(1200)는 다중 배열로 구성된 핀구동모듈(1230)의 핀의 상하운동을 통해 시각 그래픽을 촉각 그래픽 형태로 변환하여 전달하는 장치이다. 본 발명과 같은 촉각디스플레이부(1200)는, 전압을 인가하면 핀이 상승하고 전압이 인가되지 않으면 핀이 하강하는 구조인 압전 바이모프에 의한 릴레이 메커니즘에 비하여, 추가적인 모듈의 구성이 필요하지 않기 때문에, 소형화가 가능하고 다중배열이 용이한 구조를 가진다.
따라서, 본 발명에서와 같은 촉각디스플레이부(1200)는 장치의 소형화를 도모하면서 동시에 높은 해상도의 촉각디스플레이를 제공할 수 있는 효과를 발휘할 수 있다.
상기 마스터보드(1250)는 표시데이터수신부(1210)를 통해 입력된 촉각 그래픽 데이터를 수신하고, 이를 제1 촉각데이터변환부(1221)로 전달한다. 상기 표시데이터수신부(1210)는 UART (universal asynchronous receiver/transmitter)임이 바람직하고, 상기 제1 촉각데이터변환부(1221)는 MCU (Micro Controller Unit)임이 바람직하다.
바람직하게는, 상기 제1 촉각데이터변환부(1221)는 표시데이터수신부(1210)를 통해 입력된 촉각 그래픽 데이터를 분석하고, 이를 복수의 슬레이브보드(1260)로 전달한다. 이와 같은 전달에 있어서, 상기 제1 촉각데이터변환부(1221)는 상기 다수의 슬레이브보드(1260)의 정보에 기초하여 데이터를 변환한 후, 이를 슬레이브보드(1260)로 전달함이 바람직하다.
혹은, 상기 제1 촉각데이터변환부(1221)는 상기 촉각 그래픽 데이터를 각각의 슬레이브보드(1260)에 해당하는 데이터로 변환을 수행하고, 각각의 변환된 데이터를 각각의 슬레이브보드(1260)로 전달할 수도 있다.
혹은 상기 제1 촉각데이터변환부(1221) 없이, 상기 표시데이터수신부(1210)를 통하여 전달된 촉각 그래픽 데이터를 바로 슬레이브보드(1260)로 전달할 수도 있다.
이후, 슬레이브보드(1260)에 내장된 제2 촉각데이터변환부(1222)는 사전에 프로그래밍 된 CPLD (Complex Programmable Logic Device)를 이용하여 상기 제1 촉각데이터변환부(1221)로부터 전달받은 데이터 혹은 상기 표시데이터수신부(1210)를 통하여 전달받은 데이터를 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 각각의 핀구동모듈어레이에 따라 분리하고, 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 핀구동모듈어레이에 동작신호를 전달한다.
이와 같은 동작신호에 따라 핀구동모듈(1230)의 핀은 상하 운동을 할 수 있고, 바람직하게는 핀 간격 및 상승 높이는 1 mm ~ 10 mm의 범위에 있다.
도 5는 본 발명의 일 실시예에 따른 핀구동모듈(1230)을 예들을 도시한 도면이다.
이하에서는, 도 5A 및 도 5B에 도시된 핀구동모듈(1230)의 실시예에 대하여 설명하도록 한다.
도 5A에 도시된 바와 같이, 핀구동모듈(1230)은 각각, 진동운동을 선형운동으로 변환하는 트랜스듀서(1231); 상기 트랜스듀서에 연결되는 샤프트(1232); 상기 샤프트(1232) 상에서 상기 샤프트(1232)의 축 방향으로 상하 운동할 수 있는 이동체(1233); 및 상기 이동체(1233)의 움직임에 따라서 이동할 수 있는 핀(1234);을 포함한다.
바람직하게는, 상기 트랜스듀서(1231)는 복수의 압전세라믹 및 탄성체를 포함하고, 전원이 인가되는 경우 압전세라믹의 팽창/수축에 의한 진동을 선형으로 변환하여 상기 이동체(1233)를 상하로 이동시키고, 트랜스듀셔를 제어함으로써 상기 이동체(1233)의 움직임을 제어할 수 있다.
이하에서는, 도 5C 및 도 5D에 도시된 핀구동모듈(1230)의 실시예에 대하여 설명하도록 한다.
도 5C에 도시된 바와 같이, 핀구동모듈(1230)은 각각, 진동운동을 선형운동으로 변환하는 트랜스듀서(1231); 상기 트랜스듀서에 연결되는 샤프트(1232); 상기 샤프트(1232) 상에서 상기 샤프트(1232)의 축 방향으로 상하 운동할 수 있는 이동체(1233); 및 상기 이동체(1233)의 움직임에 따라서 이동할 수 있는 핀(1234); 및 상기 샤프트(1232)를 감싸고 상기 핀(1234)의 일단이 삽입되는 케이싱부(1235)를 포함한다.
바람직하게는, 상기 트랜스듀서(1231)는 복수의 압전세라믹 및 탄성체를 포함하고, 전원이 인가되는 경우 압전세라믹의 팽창/수축에 의한 진동을 선형으로 변환하여 상기 이동체(1233)를 상하로 이동시키고, 트랜스듀셔를 제어함으로써 상기 이동체(1233)의 움직임을 제어할 수 있다.
도 6은 본 발명의 일 실시예에 따른 핀구동모듈(1230)의 예의 단면을 도시한 도면이다.
도 6에 도시된 바와 같이, 핀구동모듈(1230)의 트랜스듀서(1231)는 하우징(1231.1);하우징(1231.1) 내부에 배치되는 제1 압전세라믹(1231.2), 제2 압전세라믹(1231.4); 및 상기 제1 압전세라믹 및 제2 압전세라믹 사이에 배치된 탄성부재(1231.3)를 포함한다.
한편, 이동체(1233)는 이동체본체(1233.1) 및 상기 이동체본체(1233.1)의 내부에 배치되는 고무링(1233.2)을 포함한다.
이와 같은 구조에서 트랜스듀서(1231)의 제1 압전세라믹(1231.2) 및 제2 압전세라믹(1231.4)에 인가되는 전압을 제어함으로써 상기 이동체(1233)의 상하운동을 효율적으로 제어할 수 있다.
도 7은 본 발명의 일 실시예에 따른 입력센싱부(1300)의 평면을 개략적으로 도시한 도면이다.
본 발명의 일 실시예에 따른 입력센싱부(1300)는 촉각디스플레이부(1200)에 의하여 출력된 촉각 그래픽에 대한 시각장애인들의 직관적인 상호작용 및 다양한 정보입력을 수행할 수 있다. 또한, 입력센싱부(1300)는 촉각디스플레이부(1200)에 손가락 터치인식장치를 결합하여 손가락 터치 및 손가락 제스처 인식 기능을 추가할 수 있다.
본 발명에 따른 촉각 인터페이스장치(1000)는 태블릿 PC 등에서와 같은 일반적인 터치 디스플레이와는 달리 촉각핀들의 물리적인 상승에 의해 촉각 그래픽을 표현하고, 촉각핀들에 자기유지력(force gauge)을 초과하는 과도한 압력의 터치 동작이 가해지는 경우 출력된 촉각 그래픽 혹은 촉각정보가 훼손되어 정보인지에 혼란을 줄 수 있다.
따라서, 바람직하게는, 본 발명에서의 입력센싱부(1300)는 일반적인 터치디스플레이에서 사용되는 촉각핀 표면의 정전용량 (electric capacity) 변화를 감지하는 정전용량 방식과는 달리 촉각핀들에 대한 터치와 관계없이 동작, 입력, 제스처 등이 인식 될 수 있도록 광 센싱기반, 더욱 바람직하게는 적외선 센싱기반의 비접촉 인식 방식을 도입하였다. 즉, 바람직하게는, 상기 입력센싱부는 비접촉방식으로 수행된다.
본 명세서에서 비접촉방식의 센싱, 혹은 비접촉방식의 인식은 센싱을 하는 요소 혹은 센서에 물리적인 접촉을 하지 않더라도, 센싱을 하는 요소 혹은 센서가 물리적 동작 혹은 물리적 형태를 인식할 수 센싱방법을 지칭하고, 이러한 예로서 본 발명의 일 실시예에서는 적외선 센싱기반의 인식 방식을 사용한다.
이와 같은 본 발명의 입력센싱부(1300)에 따르면, 상승된 촉각셀 핀들의 최대 높이보다 약간 높게 적외선 빔들이 투사될 수 있도록 설계하여, 촉각핀들의 상하운동과 관계 없이 출력된 촉각 그래픽 위에 가벼운 터치만으로 핀들의 상승상태를 훼손하지 않고 빠른 속도로 터치동작을 인식할 수 있는 효과를 발휘할 수 있다.
또한, 촉각 핀들의 물리적인 걸림 없이 쓸기 (Swipe), 회전 등 다양한 터치기반 제스처들을 인식할 수 있어 시각장애인과 컴퓨터간의 상호작용을 한층 더 다양화 시킬 수 있다. 이와 같은 입력센싱부(1300)의 또 다른 장점으로는 분리가능한 방식으로 설계되어 기존의 다른 촉각 디스플레이들과도 쉽게 결합될 수 있어 확장성이 높아질 수 있는 효과를 발휘할 수 있다.
상기 입력센싱부(1300)는, 복수의 광을 에미팅(emitting)하고, 에미팅된 복수의 광을 센싱하고, 물리적인 차단으로 에미팅된 광의 센싱값이 변화하는 경우, 변화된 센싱값을 갖는 광의 위치정보로부터 사용자 입력을 센싱한다.
여기서, 에미팅된 광의 센싱값이 변화하는 경우는 에미팅되는 광이 차단되어 광을 센싱하지 못하는 경우뿐만 아니라, 에미팅되는 광의 세기가 약해지는 것을 센싱하는 경우를 모두 포함한다.
바람직하게는 상기 입력센싱부(1300)에서 사용되는 광은 적외선이고, 광을 광을 일정 단면에 조사하는 형태로 광을 에미팅함이 바람직하다.
상기 입력센싱부(1300)는 상기 입력센싱부(1300)는 위치감지모듈(1310); 및 위치결정부(1320)를 포함하고, 상기 위치감지모듈(1310)은 복수의 광에미터 및 복수의 수광센서를 포함하고, 상기 위치결정부(1320)는 상기 복수의 수광센서의 센싱 데이터로부터 사용자 입력을 센싱한다.
구체적으로, 상기 위치감지모듈(1310)은 제1축 광에미터(1311), 제2축 광에미터(1312), 제1축 수광센서(1313), 및 제2축 수광센서(1314)를 포함함이 바람직하다. 이와 같은 광에미터 및 수광센서의 구성으로 2차원의 촉각디스플레이 혹은 촉각픽셀을 구현할 수 있다.
상기 제1축 수광센서(1313)는 제1축 광에미터(1311)의 위치로부터 에미팅되는 방향으로 기설정된 거리로 이격된 위치에서 배치되어 있고, 상기 제2축 수광센서(1314)는 제2축 광에미터(1312)의 위치로부터 에미팅되는 방향으로 기설정된 거리로 이격된 위치에서 배치되어 있다.
바람직하게는, 상기 복수의 제1축 수광센서(1313)는 각각 복수의 제1축 광에미터(1311)에 대응되도록 배치됨이 바람직하다. 예를들어, 제1축에 있어서 1번, 2번 3번, 4번 광에미터가 구비되는 경우, 1번 광에미터에 대응하는 1번 수광센서, 2번 광에미터에 대응하는 2번 수광센서, 3번 광에미터에 대응하는 3번 수광센서, 4번 광에미터에 대응하는 4번 수광센서를 구비함이 바람직하고, 하나의 수광센서는 대응되는 하나의 광에미터에서 에미팅되는 광을 센싱할 수 있음이 바람직하다. 이와 같은 배치에서는 제1축 광에미터(1311)의 개수 x 제2축 광에미터(1312)의 개수가 센싱할 수 있는 촉각픽셀의 해상도가 된다.
도 8은 본 발명의 일 실시예에 따른 입력센싱부(1300)의 측면을 개략적으로 도시한 도면이다.
도 8에 도시된 바와 같이, 사용자의 손가락에 의하여 광에미터에 의하여 에미팅되는 광이 차단되는 경우, 대응하는 수광 센서에는 수신되는 광의 센싱값에 변화가 생기게 되고, 이를 기초로 사용자의 입력을 계산한다.
이와 같은 입력센싱부(1300)의 광에미터 및 수광센서는 상기 촉각디스플레이부(1200) 혹은 상기 촉각디스플레이부(1200)의 핀구동모듈(1230)에 인접하게, 혹은 더욱 바람직하게는 결합되어 배치된다. 따라서, 사용자는 촉각디스플레이부(1200)로부터 제공되는 촉각정보 혹은 촉각 그래픽을 촉각으로서 인지하고 바로 촉각디스플레이 상에서 입력 혹은 제스처 등을 수행할 수 있다.
다만, 사용자가 상기 입력센싱부(1300)로 입력을 수행하는 경우, 사용자의 손가락이 촉각디스플레이부(1200)의 핀구동모듈(1230)에 강하게 접촉이 되어 핀구동모듈(1230)이 손상되는 것을 방지하기 위하여, 상기 입력센싱부(1300)의 상기 위치감지모듈(1310)은 상기 핀구동모듈(1230)로부터 이격되어 배치됨이 바람직하다. 혹은, 사용자가 입력센싱부(1300)에 입력할 수 있는 영역은 상기 핀구동모듈(1230)의 작동영역으로부터 이격되어 있음이 바람직하다. 혹은, 사용자가 입력센싱부(1300)에 입력할 수 있는 영역은 핀구동모듈(1230)이 상승하였을 때 높이보다 높은 높이에 배치됨이 바람직하다.
구체적으로, 상기 핀구동모듈(1230)의 핀들이 상하 운동을 할 수 있는 홀을 복수로 구비하는 캡레이어(1201)로부터 핀의 최대상승 높이(H1)는 캡레이어(1201)로부터 광에미터의 높이, 더욱 바람직하게는 캡레이어로부터 광에미터로부터 조사되는 광의 최하단 영역까지의 높이(H2)보다 낮음이 바람직하다.
도 9는 본 발명의 일 실시예에 따른 촉각 인터페이스방법의 단계를 개략적으로 도시하는 도면이다. 이하에서는 상기 도 1 내지 도 8을 참조하여 설명하였던 촉각 인터페이스장치에 의하여 구현되는 촉각 인터페이스방법에 대하여 설명하도록 한다. 편의상 도 1 내지 도 8을 참조하여 설명한 내용과 중복되는 부분은 편의상 일부 생략하기로 한다.
본 발명의 일 실시예에 따른 사용자와 상호작용을 할 수 있는 촉각 인터페이스방법은 접속된 외부장치로부터 전송받은 1차 데이터 혹은 촉각 인터페이스장치(1000) 내부에서 생성된 1차 데이터에 기초하여, 복수의 핀에 의하여 사용자에게 촉각정보를 제공하는 디스플레이를 정보를 제공하는 촉각디스플레이단계(S10); 및 비접촉 방식으로 사용자 입력을 센싱하는 입력센싱단계(S20);를 포함한다.
바람직하게는, 상기 촉각디스플레이단계 및 상기 입력센싱단계는 실시간으로 수행됨으로써, 단순히 시각장애인이 촉각정보를 인지하는 것에 한정되는 것이 아니라, 촉각정보를 인지하고 이에 반응하여 실시간으로 직관적으로 촉각 인터페이스장치(1000)에 명령 등의 입력을 수행할 수 있고, 이는 결과적으로 그래픽 화면 기반의 PC 등의 사용자 단말기를 일반인과 같은 편의성으로 사용할 수 있는 효과를 발휘할 수 있다.
도 10은 본 발명의 일 실시예에 따른 촉각디스플레이단계의 세부단계를 개략적으로 도시하는 도면이다.
상기 촉각디스플레이단계(S10)는, 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀으로 표시되는 촉각픽셀에 의하여 촉각정보를 제공한다.
구체적으로 촉각디스플레이단계는 접속된 외부장치로부터 전송받은 1차 데이터 혹은 촉각 인터페이스장치(1000) 내부에서 생성된 1차 데이터를 수신하는 1차데이터수신단계(S11);
슬레이브보드(1260)의 개수, 각 슬레이브보드(1260)에서 표현할 수 있는 촉각픽셀의 개수 등의 슬레이브보드(1260) 정보를 로드하는 슬레이브보드정보로드단계(S12);
로드된 상기 슬레이브보드(1260) 정보에 따라 상기 1차 데이터를 2차 데이터로 변환하는 2차데이터변환단계(S13);
변환된 상기 2차 데이터를 각각의 슬레이브보드(1260)로 전송하는 슬레이브보드전송단계(S14);
각각의 슬레이브보드(1260)에서 상기 2차 데이터를 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 핀구동모듈어레이의 구동신호로서의 3차 데이터로 변환하는 3차데이터변환단계(S15);
생성된 상기 구동신호로 각각의 핀구동모듈(1230)을 구동하는 핀구동단계(S16)을 포함한다.
상기 촉각디스플레이단계는 다중 배열로 구성된 핀구동모듈(1230)의 핀의 상하운동을 통해 시각 그래픽을 촉각 그래픽 형태로 변환하여 전달하는 단계이다. 본 발명에서와 같은 촉각디스플레이단계는 전압을 인가하면 핀이 상승하고, 전압이 인가되지 않으면 핀이 하강하는 구조인 압전 바이모프에 의한 릴레이 메커니즘에 비하여, 추가적인 모듈의 구성이 필요하지 않기 때문에, 소형화가 가능하고 다중배열이 용이한 구조로 구현할 수 있다.
따라서, 본 발명에서와 같은 촉각디스플레이단계는 장치의 소형화를 도모하면서 동시에 높은 해상도의 촉각디스플레이를 제공할 수 있는 효과를 발휘할 수 있다.
상기 1차데이터수신단계(S11)은 마스터보드(1250)에서 수행되고, 외부로부터 입력된 촉각 그래픽 데이터를 수신하고, UART (universal asynchronous receiver/transmitter) 모듈을 통하여 수행됨이 바람직하다.
한편, 상기 슬레이브보드정보로드단계(S12) 및 상기 2차데이터변환단계(S13)은 상기 마스터보드(1250)에 전기적으로 접속되는 MCU (Micro Controller Unit)에 의하여 수행됨이 바람직하다.
바람직하게는, 상기 2차데이터변환단계(S13)는 상기 1차데이터수신단계(S11)을 통해 입력된 촉각 그래픽 데이터를 분석한다. 이후 슬레이브보드전송단계(S14)는 분석된 상기 촉각 그래픽 데이터를 슬레이브보드(1260)로 전달한다.
이와 같은 상기 2차데이터변환단계(S13) 및 슬레이브보드전송단계(S14)는 상기 다수의 슬레이브보드(1260)의 정보에 기초하여 데이터를 변환한 후, 이를 슬레이브보드(1260)로 전달함이 바람직하다.
혹은, 상기 2차데이터변환단계(S13)은 상기 촉각 그래픽 데이터를 각각의 슬레이브보드(1260)에 해당하는 데이터로 변환을 수행하고, 각각의 변환된 데이터를 각각의 슬레이브보드(1260)로 전달할 수도 있다.
혹은 상기 2차데이터변환단계(S13) 없이, 상기 1차데이터수신단계(S11)을 통하여 전달된 촉각 그래픽 데이터를 바로 슬레이브보드(1260)로 전달할 수도 있다.
이후, 슬레이브보드(1260)에 내장된 처리장치에 의하여, 3차데이터변환단계(S15)가 수행된다. 3차데이터변환단계는 사전에 프로그래밍 된 CPLD (Complex Programmable Logic Device)를 이용하여 전달받은 데이터를 통하여 전달받은 데이터를 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 각각의 핀구동모듈어레이에 따라 분리하고, 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 핀구동모듈어레이에 동작신호를 전달한다.
상기 복수의 슬레이브보드(1260)는 단일의 마스터보드(1250) 상에 배치되어 있고, 상기 마스터보드(1250)에 전기적으로 접속되어 있는 것이 바람직하다.
도 11은 본 발명의 일 실시예에 따른 입력센싱단계의 세부단계를 개략적으로 도시하는 도면이다.
상기 입력센싱단계는 촉각정보를 제공하는 인터페이싱장치에서 사용자의 입력을 센싱하는 방법으로서, 복수의 광을 에미팅(emitting)하고, 에미팅된 복수의 광을 센싱하고, 물리적인 차단으로 에미팅된 광의 센싱값이 변화하는 경우, 변화된 센싱값을 갖는 광의 위치정보로부터 사용자 입력을 센싱한다. 이와 같은 입력센싱방법은 촉각디스플레이부(1200)에 의하여 출력된 촉각 그래픽에 대한 시각장애인들의 직관적인 상호작용 및 다양한 정보입력를 수행할 수 있다. 또한, 입력센싱부(1300)는 촉각디스플레이부(1200)에 손가락 터치인식장치를 결합하여 손가락 터치 및 손가락 제스처 인식 기능을 추가할 수 있다.
구체적으로, 상기 입력센싱단계는,
복수의 광을 에미팅(emitting)하는 광에미팅단계(S21);
각각의 복수의 광에 대하여, 광이 에미팅되는 위치로부터 에미팅되는 방향으로 기설정된 거리로 이격된 위치에서 광을 센싱하는 광센싱단계(S22);
센싱값에 변화가 있는 수광센서의 정보를 로드하는 광센서정보로드단계(S23); 및
상기 광센싱단계에서 센싱된 결과를 기초로 사용자의 입력을 계산하는 사용자입력계산단계(S24);를 포함한다.
한편, 상기 광에미팅단계는 제1축을 따라 배치된 복수의 제1축 광에미터(1311) 및 제2축을 따라 배치된 복수의 제2축 광에미터(1312)로부터 복수의 광을 에미팅하고, 상기 광센싱단계는 복수의 상기 제1축 광에미터(1311)에 대응하는 제1축 수광센서(1313) 및 복수의 상기 제2축 광에미터(1312)에 대응하는 제2축 수광센서(1314)에 의하여 복수의 광을 센싱한다.
또한, 상기 사용자입력계산단계는 복수의 상기 제1축 수광센서(1313) 및 복수의 상기 제2축 수광센서(1314)의 수신광량의 변화값을 기초로 사용자의 입력을 계산하는, 사용자의 입력을 센싱한다.
본 발명에 따른 촉각 인터페이스장치(1000)는 태블릿 PC 등에서와 같은 일반적인 터치 디스플레이와는 달리 촉각핀들의 물리적인 상승에 의해 촉각 그래픽을 표현하고, 촉각핀들에 자기유지력(force gauge)을 초과하는 과도한 압력의 터치 동작이 가해지는 경우 출력된 촉각 그래픽 혹은 촉각정보가 훼손되어 정보인지에 혼란을 줄 수 있다.
따라서, 본 발명에서의 입력센싱단계는 일반적인 터치디스플레이에서 사용되는 촉각핀 표면의 정전용량 (electric capacity) 변화를 감지하는 정전용량 방식과는 달리 촉각핀들 위에서 터치동작이 인식 될 수 있도록 광 센싱기반, 더욱 바람직하게는 적외선 센싱기반의 비접촉 인식 방식을 도입하였다.
이와 같은 본 발명의 입력센싱단계에 따르면, 상승된 촉각셀 핀들의 최대 높이보다 약간 높게 적외선 빔들이 투사될 수 있도록 설계하여, 촉각핀들의 상하운동과 관계 없이 출력된 촉각 그래픽 위에 가벼운 터치만으로 핀들의 상승상태를 훼손하지 않고 빠른 속도로 터치동작을 인식할 수 있는 효과를 발휘할 수 있다.
또한, 촉각 핀들의 물리적인 걸림 없이 쓸기 (Swipe), 회전 등 다양한 터치기반 제스처들을 인식할 수 있어 시각장애인과 컴퓨터간의 상호작용을 한층 더 다양화 시킬 수 있다.
도 12는 본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)의 사용예를 도시하는 도면이다.
도 12에 도시된 바와 같이, 본 발명의 일 실시예에 따르면 손가락 움직임에 따라 실시간으로 핀이 상승하며 자유롭게 그래픽을 그릴 수 있는 자유 그리기 기능을 수행할 수 있고, 실시간으로 촉각디스플레이 혹은 촉각정보를 확인하면서 사용자는 자신이 이전에 그린 그래픽을 쉽게 인지하면서 그래픽을 그릴 수 있다.
따라서, 본 발명의 일 실시예에 따른 촉각 디스플레이장치는 정상시력의 일반인들이 모니터를 통해 시각정보를 인지하고 마우스(혹은 tablet PC의 터치스크린)와 키보드를 통하여 정보를 입력하는 일반적인 컴퓨터 사용방식과 매우 유사한 방식으로 시각장애인들이 촉각을 이용하여 보다 쉽고 직관적으로 컴퓨터와 상호작용(interaction) 할 수 있다.
하나 이상의 예시적인 구현에서, 여기서 제시된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합을 통해 구현될 수 있다. 소프트웨어로 구현되는 경우, 상기 기능들은 컴퓨터 판독가능한 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나, 또는 이들을 통해 전송될 수 있다. 컴퓨터 판독가능한 매체는 컴퓨터 저장 매체 및 일 장소에서 다른 장소로 컴퓨터 프로그램의 이전을 용이하게 하기 위한 임의의 매체를 포함하는 통신매체를 포함한다. 저장 매체는 범용 컴퓨터 또는 특수 목적의 컴퓨터에 의해 액세스될 수 있는 임의의 가용한 매체일 수 있다. 예를 들어, 이러한 컴퓨터 판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크저장 매체, 자기 디스크 저장 매체 또는 다른 자기 저장 장치들, 또는 명령 또는 데이터 구조의 형태로 요구되는 프로그램 코드 수단을 저장하는데 사용될 수 있고, 범용 컴퓨터, 특수목적의 컴퓨터, 범용 프로세서, 또는 특별한 프로세서에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이들로 제한되는 것은 아니다.
통상의 기술자는 상술한 다양한 예시적인 엘리먼트, 컴포넌트, 논리블록, 모듈 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들의 조합으로서 구현될 수 있음을 잘 이해할 것이다. 하드웨어 및 소프트웨어의 상호 호환성을 명확히 하기 위해, 다양한 예시적인 소자들, 블록, 모듈 및 단계들이 그들의 기능적 관점에서 기술되었다. 이러한 기능이 하드웨어로 구현되는지, 또는 소프트웨어로 구현되는지는 특정 애플리케이션 및 전체 시스템에 대해 부가된 설계 제한들에 의존한다. 당업자는 이러한 기능들을 각각의 특정 애플리케이션에 대해 다양한 방식으로 구현할 수 있지만, 이러한 구현 결정이 본 발명의 영역을 벗어나는 것은 아니다.
본 명세서에서 기재되는 다양한 예시적인 논리 블록들 및 모듈들은 범용 프로세서, 디지털 신호 처리기(DSP), 주문형 반도체(ASIC), 필드 프로그래머블 게이트 어레이(FPGA) 또는 다른 프로그램어블 논리 디바이스, 이산 게이트 또는 트랜지스터 논리, 이산 하드웨어 컴포넌트들 또는 여기서 기재되는 기능들을 구현하도록 설계되는 임의의 조합을 통해 구현 또는 수행될 수 있다. 범용 프로세서는 마이크로 프로세서 일 수 있지만; 대안적 실시예에서, 이러한 프로세서는 기존 프로세서, 제어기, 마이크로 제어기, 또는 상태 머신일 수 있다. 프로세서는 예를 들어, DSP 및 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서, 또는 이러한 구성들의 조합과 같이 계산 장치들의 조합으로서 구현될 수 있다.
하드웨어 구현에 대하여, 여기에서 개시되는 양상들과 관련하여 설명되는 프로세싱 유닛들의 다양한 예시적인 로직들, 로직 블록들 및 모듈들은, 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 처리기들(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그래밍 가능한 로직 디바이스(PLD)들, 필드 프로그래밍 가능한 게이트 어레이(FPGA)들, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 범용 목적의 프로세서들, 제어기들, 마이크로-컨트롤러들, 마이크로프로세서들, 여기에서 설명되는 기능들을 수행하도록 설계되는 다른 전자 유닛들, 또는 이들의 조합에서 구현될 수 있다. 범용-목적 프로세서는 마이크로프로세서일 수 있지만, 대안적으로, 임의의 기존의 프로세서, 제어기, 마이크로컨트롤러, 또는 상태 머신일 수 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합(예컨대, DSP 및 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 관련된 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 적절한 구성)으로 구현될 수 있다. 추가적으로, 적어도 하나의 프로세서는 여기에서 설명되는 단계들 및/또는 동작들 중 하나 이상을 구현할 수 있는 하나 이상의 모듈들을 포함할 수 있다.
게다가, 여기에서 설명되는 다양한 양상들 또는 특징들은 표준 프로그래밍 및/또는 엔지니어링 기법들을 사용하는 방법, 장치, 또는 제조물로서 구현될 수 있다. 또한, 여기에서 개시되는 양상들과 관련하여 설명되는 방법 또는 알고리즘의 단계들 및/또는 동작들은 하드웨어로, 프로세서에 의해 실행되는 소프트웨어 모듈로, 또는 이들의 조합으로 직접 구현될 수 있다. 추가적으로, 몇몇의 양상들에서, 방법 또는 알고리즘의 단계들 또는 동작들은 기계-판독가능 매체, 또는 컴퓨터-판독가능 매체 상의 코드들 또는 명령들의 세트의 적어도 하나의 또는 임의의 조합으로서 존재할 수 있으며, 이는 컴퓨터 프로그램 물건으로 통합될 수 있다. 여기에서 사용되는 용어 제조물은 임의의 적절한 컴퓨터-판독가능 디바이스 또는 매체로부터 액세스 가능한 컴퓨터 프로그램을 포함하도록 의도된다.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.

Claims (16)

  1. 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치로서,
    접속된 외부장치로부터 전송받은 데이터 혹은 상기 촉각 인터페이스장치 내부에서 생성된 데이터에 기초하여, 복수의 핀으로 사용자에게 촉각정보를 제공하는 촉각디스플레이부; 및
    사용자 입력을 센싱하는 입력센싱부;를 포함하는, 촉각 인터페이스장치.
  2. 청구항 1에 있어서,
    상기 촉각 인터페이스장치는,
    외부장치와 접속할 수 있는 외부장치접속부를 더 포함하고,
    상기 외부장치접속부는 무선통신을 수행할 수 있는 통신모듈부 및 유선적으로 상기 외부장치와 접속할 수 있는 유선연결부 중 1 이상을 포함하는, 촉각 인터페이스장치.
  3. 청구항 1에 있어서,
    상기 촉각 인터페이스장치는,
    사용자로부터 키입력 형태로 정보를 입력받을 수 있는 키보드부를 더 포함하는, 촉각 인터페이스장치.
  4. 청구항 1에 있어서,
    상기 촉각 인터페이스장치는,
    상기
    외부로 사운드 출력을 할 수 있는 스피커부를 포함하는, 촉각 인터페이스장치.
  5. 청구항 1에 있어서,
    상기 촉각디스플레이부는 1 이상의 차원의 촉각픽셀로 촉각정보를 제공하고,
    상기 촉각픽셀은 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀에 의하여 구성되는, 촉각 인터페이스장치.
  6. 청구항 1에 있어서,
    상기 촉각디스플레이부는,
    상기 데이터를 입력받는 표시데이터수신부;
    상기 데이터를 촉각디스플레이데이터로 변환하는 촉각데이터변환부; 및
    상기 촉각디스플레이데이터에 의하여 구동하는 복수의 핀구동모듈;을 포함하고,
    상기 복수의 핀구동모듈은 1 이상의 차원의 촉각픽셀을 구성하는, 촉각 인터페이스장치.
  7. 청구항 6에 있어서,
    상기 복수의 핀구동모듈은 각각,
    진동운동을 선형운동으로 변환하는 트랜스듀서;
    상기 트랜스듀서에 연결되는 샤프트;
    상기 샤프트 상에서 상기 샤프트의 축 방향으로 상하 운동할 수 있는 이동체; 및
    상기 이동체의 움직임에 따라서 이동할 수 있는 핀;을 포함하는, 촉각 인터페이스장치.
  8. 청구항 6에 있어서,
    상기 입력센싱부는 비접촉방식으로 수행되고,
    사용자가 상기 입력센싱부에 입력을 할 수 있는 영역은 상기 핀구동모듈의 작동영역의 위에 배치되어 있는, 촉각인터페이스장치.
  9. 청구항 1에 있어서,
    상기 입력센싱부는,
    복수의 광을 에미팅(emitting)하고, 에미팅된 복수의 광을 센싱하고,
    물리적인 차단으로 에미팅된 광의 센싱값이 변화하는 경우, 변화된 센싱값을 갖는 광의 위치정보로부터 사용자 입력을 센싱하는, 촉각 인터페이스장치.
  10. 청구항 1에 있어서,
    상기 입력센싱부는 위치감지모듈; 및 위치결정부를 포함하고,
    상기 위치감지모듈은 복수의 광에미터 및 복수의 수광센서를 포함하고,
    상기 위치결정부는 상기 복수의 수광센서의 센싱 데이터로부터 사용자 입력을 센싱하는, 촉각인터페이스장치.
  11. 청구항 10에 있어서,
    상기 복수의 광에미터는 제1축 및 제2축을 따라 배치되어 있고,
    상기 복수의 수광센서는 제1축 및 제2축을 따라 배치되어 있는, 촉각인터페이스장치.
  12. 사용자와 상호작용을 할 수 있는 촉각 인터페이스방법으로서,
    접속된 외부장치로부터 전송받은 1차 데이터 혹은 촉각 인터페이스장치 내부에서 생성된 1차 데이터에 기초하여, 복수의 핀에 의하여 사용자에게 촉각정보를 제공하는 촉각디스플레이단계; 및
    비접촉 방식으로 사용자 입력을 센싱하는 입력센싱단계;를 포함하고,
    상기 촉각디스플레이단계 및 상기 입력센싱단계는 실시간으로 수행되는, 촉각 인터페이스방법.
  13. 청구항 12에 있어서,
    상기 촉각디스플레이단계는,
    압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀으로 표시되는 촉각픽셀에 의하여 촉각정보를 제공하는, 촉각 인터페이스방법.
  14. 청구항 12에 있어서,
    상기 촉각픽셀은 복수의 핀구동모듈 그룹에 의하여 표시되고,
    각각의 상기 핀구동모듈 그룹은 복수의 핀구동모듈로 이루어지는, 촉각인터페이스 방법.
  15. 청구항 12에 있어서,
    상기 입력센싱단계는,
    복수의 광을 에미팅(emitting)하는 광에미팅단계;
    각각의 복수의 광에 대하여, 광이 에미팅되는 위치로부터 에미팅되는 방향으로 기설정된 거리로 이격된 위치에서 광을 센싱하는 광센싱단계; 및
    상기 광센싱단계에서 센싱된 결과를 기초로 사용자의 입력을 계산하는 사용자입력계산단계;를 포함하는, 촉각인터페이스 방법.
  16. 청구항 14에 있어서,
    상기 입력센싱단계는 비접촉방식으로 수행되고,
    사용자가 입력센싱단계에 입력을 할 수 있는 영역은 상기 핀구동모듈 그룹의 작동영역의 위에 배치되어 있는, 촉각인터페이스 방법.
PCT/KR2017/003984 2016-04-20 2017-04-13 촉각 인터페이스장치 및 촉각 인터페이스방법 WO2017183853A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0048261 2016-04-20
KR1020160048261A KR101744118B1 (ko) 2016-04-20 2016-04-20 촉각 인터페이스장치 및 촉각 인터페이스방법

Publications (1)

Publication Number Publication Date
WO2017183853A1 true WO2017183853A1 (ko) 2017-10-26

Family

ID=59223562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/003984 WO2017183853A1 (ko) 2016-04-20 2017-04-13 촉각 인터페이스장치 및 촉각 인터페이스방법

Country Status (2)

Country Link
KR (1) KR101744118B1 (ko)
WO (1) WO2017183853A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101864584B1 (ko) * 2017-08-03 2018-06-07 가천대학교 산학협력단 촉각인터페이스장치를 통하여 시간정보를 제공하는 방법, 장치, 및 비일시적 컴퓨터-판독가능 매체
CN113840588A (zh) * 2021-08-15 2021-12-24 曹庆恒 一种触觉感知***及其使用方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09325688A (ja) * 1996-06-04 1997-12-16 Nec Corp 触覚ディスプレイ装置
JPH1069218A (ja) * 1996-08-29 1998-03-10 Yuseisho Tsushin Sogo Kenkyusho 視覚障害者用グラフィカルユーザーインターフェース方式
JPH11232024A (ja) * 1998-02-13 1999-08-27 Alpine Electron Inc 光学式位置検出装置
KR20010017729A (ko) * 1999-08-13 2001-03-05 정선종 촉각 및 음성 인터페이스기반의 시각장애인용 정보단말기
KR20110093553A (ko) * 2010-02-12 2011-08-18 한국전자통신연구원 시촉각 정보 제공 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09325688A (ja) * 1996-06-04 1997-12-16 Nec Corp 触覚ディスプレイ装置
JPH1069218A (ja) * 1996-08-29 1998-03-10 Yuseisho Tsushin Sogo Kenkyusho 視覚障害者用グラフィカルユーザーインターフェース方式
JPH11232024A (ja) * 1998-02-13 1999-08-27 Alpine Electron Inc 光学式位置検出装置
KR20010017729A (ko) * 1999-08-13 2001-03-05 정선종 촉각 및 음성 인터페이스기반의 시각장애인용 정보단말기
KR20110093553A (ko) * 2010-02-12 2011-08-18 한국전자통신연구원 시촉각 정보 제공 장치 및 방법

Also Published As

Publication number Publication date
KR101744118B1 (ko) 2017-06-07

Similar Documents

Publication Publication Date Title
WO2020045947A1 (en) Electronic device to control screen property based on distance between pen input device and electronic device and method of controlling same
WO2017183803A1 (ko) 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체
WO2020013528A1 (ko) 플렉서블 디스플레이 및 이를 포함하는 전자 장치
WO2015152546A1 (en) Electronic device and method of transmitting data between electronic device and flip cover thereof
WO2014112777A1 (en) Method for providing haptic effect in portable terminal, machine-readable storage medium, and portable terminal
WO2015156465A1 (en) Flexible glass display apparatus and method for controlling the same
WO2014046482A1 (en) User terminal apparatus for providing local feedback and method thereof
WO2017119745A1 (en) Electronic device and control method thereof
WO2015129964A1 (ko) 촉각 제공 장치 및 방법
EP3622368A1 (en) Electronic device including inactive area
WO2016195207A1 (ko) 이동 단말기
WO2020076055A1 (en) Electronic device including pen input device and method of operating the same
WO2016204338A1 (ko) 전자디바이스
WO2015046671A1 (en) Display device generating tactile feedback and method of controlling the same
WO2017183853A1 (ko) 촉각 인터페이스장치 및 촉각 인터페이스방법
WO2021091286A1 (en) Electronic device including sensor for detecting external input
WO2018034400A1 (ko) 촉각 인터페이스장치를 제어하는 방법, 장치 및 비일시적 컴퓨터-판독가능 매체
WO2019035607A1 (en) ELECTRONIC DEVICE AND METHOD FOR CONTROLLING TOUCH DETECTION SIGNALS, AND INFORMATION CARRIER
WO2020091538A1 (ko) 저전력 상태에서 디스플레이를 통해 화면을 표시하기 위한 전자 장치 및 그의 동작 방법
EP3356920A1 (en) Electronic device for displaying multiple screens and control method therefor
WO2017164582A1 (ko) 화면 캡처가 용이한 모바일 단말 및 화면 캡처 방법
WO2021187630A1 (ko) 전자 장치
WO2021149844A1 (ko) 콘텐츠를 표시하는 전자 장치 및 그 제어 방법
WO2018101507A1 (en) Display device and control method thereof
WO2022203330A1 (ko) 전자 장치 및 그것의 지문 인식 방법

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17786121

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17786121

Country of ref document: EP

Kind code of ref document: A1