JP2014146194A - Tactile presentation control device and tactile presentation control program - Google Patents
Tactile presentation control device and tactile presentation control program Download PDFInfo
- Publication number
- JP2014146194A JP2014146194A JP2013014720A JP2013014720A JP2014146194A JP 2014146194 A JP2014146194 A JP 2014146194A JP 2013014720 A JP2013014720 A JP 2013014720A JP 2013014720 A JP2013014720 A JP 2013014720A JP 2014146194 A JP2014146194 A JP 2014146194A
- Authority
- JP
- Japan
- Prior art keywords
- stimulus
- information
- vibration
- presentation control
- tactile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、触覚提示制御装置及び触覚提示制御プログラムに係り、特に提示するオブジェクトに対するユーザの認識精度を向上させる触覚提示制御装置及び触覚提示制御プログラムに関する。 The present invention relates to a haptic presentation control apparatus and a haptic presentation control program, and more particularly to a haptic presentation control apparatus and a haptic presentation control program that improve user recognition accuracy for an object to be presented.
従来、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のメニューや図表等のオブジェクトを視覚障害者等のユーザに提示する触覚的手段が知られている。例えば、多数の微小圧電アクチュエータを２次元に実装し、ビットマップ等で描かれた画面を２値化し、画面に対応する静的な凹凸を形成した触覚ディスプレイに提示する第１の方法が存在する（例えば、非特許文献１参照）。この触覚ディスプレイでは、画面のレイアウト情報に応じて刺激ピンを上下に駆動し、凹凸で表わされたオブジェクトにユーザが触れることで画面のレイアウトや形状を認識させる。 Conventionally, a tactile means for presenting an object such as a GUI (Graphical User Interface) menu or chart to a user such as a visually impaired person is known. For example, there is a first method in which a large number of small piezoelectric actuators are two-dimensionally mounted, a screen drawn with a bitmap or the like is binarized, and presented on a tactile display in which static unevenness corresponding to the screen is formed. (For example, refer nonpatent literature 1). In this tactile display, the stimulation pins are driven up and down according to the layout information of the screen, and the user touches the object represented by the unevenness to recognize the layout and shape of the screen.
また、他の触覚的手段として、マークアップ記述言語で画面を構成するオブジェクトを、オブジェクト単位で異なる周波数により振動させる第２の方法が存在する（例えば、非特許文献２参照）。また、触覚ディスプレイや触図を用いて２次元情報を提示する際に、色相を検出して予め色相に対応して設定された文字情報を音声合成で読み上げる第３の方法が存在する（例えば、非特許文献３参照）。 As another tactile means, there is a second method in which an object constituting a screen in a markup description language is vibrated at a different frequency for each object (see, for example, Non-Patent Document 2). In addition, when presenting two-dimensional information using a tactile display or a tactile diagram, there is a third method for detecting a hue and reading out character information set in advance corresponding to the hue by speech synthesis (for example, Non-Patent Document 3).
しかしながら、上述した第１の方法は、画像情報を２値化し、２値化された各画素のレベルに応じて対応する触覚ディスプレイの刺激ピンを凹凸に駆動させて、画像の輪郭や領域を触覚により認識させることが目的であり、画像中の重要な位置や内容等を示すオブジェクトに対して異なる提示を行う手法は考えられていない。 However, in the first method described above, the image information is binarized, and the stimulation pin of the tactile display corresponding to the binarized level of each pixel is driven to be uneven so that the contour and area of the image are tactile. The method of making a different presentation with respect to an object indicating an important position or content in an image is not considered.
また、上述した第２の方法は、マークアップ言語で記述された定型的な形状を持つオブジェクトに対して振動による提示を行うが、画像中の重要な位置や内容に対応する任意の形状をした領域を振動させるためには、オブジェクトを細分化し、細分化したそれぞれに振動設定を行って配置する必要が生じ、現実的にユーザの認識精度を向上させることは困難である。 In addition, the second method described above presents an object having a fixed shape described in a markup language by vibration, but has an arbitrary shape corresponding to an important position or content in an image. In order to vibrate the area, it is necessary to subdivide the objects, and to set the vibrations for each of the subdivided objects, and it is difficult to improve the user's recognition accuracy realistically.
また、上述した第３の方法は、コンテンツを表示している画像の色相を検出し、色相に対応して予め設定した文字情報を音声に変換する手法であり、コンテンツの多くの部位で色相情報に対応する文字情報を音声で出力するためには、画像中に多種の色を配置する必要が生じる。また、第３の方法では、同色の部分が複数存在する場合に異なる音声情報を与えることができず、ユーザの認識精度を向上させるには限界がある。 The third method described above is a method of detecting the hue of an image displaying content and converting character information set in advance corresponding to the hue into sound. In order to output the character information corresponding to the voice, it is necessary to arrange various colors in the image. Further, in the third method, different audio information cannot be given when there are a plurality of portions of the same color, and there is a limit to improving the user's recognition accuracy.
そこで、本発明は、提示するオブジェクトに対するユーザの認識精度を向上させるための触覚提示制御装置及び触覚提示制御プログラムを提供することを目的とする。 Therefore, an object of the present invention is to provide a haptic presentation control apparatus and a haptic presentation control program for improving the recognition accuracy of a user for an object to be presented.
本発明の一態様における触覚提示制御装置は、複数の刺激ピンが配列された触覚提示手段によりユーザに刺激を与えてコンテンツを触覚により認識させる触覚提示制御装置において、前記コンテンツに含まれる画像データのオブジェクトから異なる色領域を検出する色領域検出手段と、前記色領域検出手段により得られる各色情報に対応する刺激種別を設定し、設定した刺激種別を、前記色情報に含めてデータ変換を行うデータ変換手段と、前記データ変換手段により得られる変換された色情報から前記刺激種別を抽出し、抽出した刺激種別に対応して前記触覚提示手段の刺激ピンを駆動させるための刺激データを生成する刺激情報生成手段とを有する。 According to another aspect of the present invention, there is provided a tactile sensation presentation control apparatus that provides a tactile sensation to a user with a tactile sensation presentation unit in which a plurality of stimulation pins are arranged to recognize content by tactile sense. Color area detecting means for detecting different color areas from an object, and a stimulus type corresponding to each color information obtained by the color area detecting means, and data for converting the data by including the set stimulus type in the color information A stimulus that extracts the stimulus type from the converted color information obtained by the conversion means and the data conversion means, and generates stimulus data for driving the stimulus pin of the tactile sense presenting means corresponding to the extracted stimulus type Information generating means.
また、本発明の一態様における触覚提示制御プログラムは、複数の刺激ピンが配列された触覚提示手段によりユーザに刺激を与えてコンテンツを触覚により認識させる触覚提示制御処理をコンピュータに実行させるための触覚提示制御プログラムにおいて、前記コンピュータを、前記コンテンツに含まれる画像データのオブジェクトから異なる色領域を検出する色領域検出手段、前記色領域検出手段により得られる各色情報に対応する刺激種別を設定し、設定した刺激種別を、前記色情報に含めてデータ変換を行うデータ変換手段、及び、前記データ変換手段により得られる変換された色情報から前記刺激種別を抽出し、抽出した刺激種別に対応して前記触覚提示手段の刺激ピンを駆動させるための刺激データを生成する刺激情報生成手段として機能させる。 The tactile sense presentation control program according to one aspect of the present invention is a tactile sense control program for causing a computer to execute a tactile sense presentation control process in which a user is stimulated by a tactile sense presenting means in which a plurality of stimulus pins are arranged to recognize content by tactile sense. In the presentation control program, the computer sets and sets a stimulus type corresponding to each color information obtained by the color area detecting means for detecting different color areas from the object of the image data included in the content, and the color area detecting means. The data conversion means for performing data conversion by including the stimulus type in the color information, and extracting the stimulus type from the converted color information obtained by the data conversion means, and corresponding to the extracted stimulus type Stimulus information generating means for generating stimulus data for driving the stimulus pin of the tactile sense presenting means; To function Te.
本発明によれば、提示するオブジェクトに対するユーザの認識精度を向上させることができる。 ADVANTAGE OF THE INVENTION According to this invention, the recognition accuracy of the user with respect to the object to show can be improved.
＜本発明について＞
本発明は、例えば刺激ピンの凹凸や振動で２次元情報を触覚に提示する触覚ディスプレイ（触覚提示手段）を制御して、例えばデジタル放送やＷｅｂページ等のコンテンツで用いられるＧＵＩのメニューや図表等のオブジェクトを提示する場合において、メニュー項目の属性（例えば、ジャンル等）や、地図上のランドマーク、地震津波情報の位置等、画像データの重要な位置に対応して個々のオブジェクトや局所的な領域を異なる振動周波数で駆動して提示することで、視覚障害者等のユーザのオブジェクトの認識精度を向上させ、迅速で効率的に提示情報を取得させる。
<About the present invention>
The present invention controls, for example, a tactile display (tactile presentation means) that presents two-dimensional information in a tactile sense with unevenness or vibration of a stimulation pin, and for example, GUI menus and charts used in contents such as digital broadcasts and web pages In the case of presenting an object, an individual object or a local object corresponding to an important position of image data such as a menu item attribute (for example, genre), a landmark on a map, a position of earthquake / tsunami information, etc. By driving and presenting the region at different vibration frequencies, the recognition accuracy of the object of a user such as a visually handicapped person can be improved, and the presentation information can be acquired quickly and efficiently.
また、本発明では、触覚提示制御装置による制御により、マークアップ言語等で記述されたオブジェクト単位で、触覚提示装置の二次元に配置された刺激ピンを異なる周波数で振動させると共に、各オブジェクトに対する色情報等を検出し、検出した情報を予め設定された振動周波数に変換して、異なる周波数で振動させる。これにより、マークアップ記述されたオブジェクト情報と色情報とが混在するオブジェクトに対して、所定の条件（例えば、優先度等）に基づき局所的に異なる振動による触覚提示を行うことができる。なお、本実施形態におけるユーザとは、例えば視覚障害者に限定されるものではなく、触覚提示制御装置を使用する全ての者が含まれる。 In the present invention, the stimulus pins arranged in two dimensions of the tactile presentation device are vibrated at different frequencies in units of objects described in a markup language or the like under the control of the tactile presentation control device, and the color for each object Information or the like is detected, and the detected information is converted into a preset vibration frequency to vibrate at a different frequency. As a result, it is possible to present a tactile sensation with locally different vibrations based on a predetermined condition (for example, priority) for an object in which object information described in markup and color information are mixed. In addition, the user in this embodiment is not limited to a visually impaired person, for example, All persons who use a tactile sense presentation control apparatus are included.
以下に、触覚提示制御装置及び触覚提示制御プログラムを好適に実施した形態について、図面等を用いて詳細に説明する。 Below, the form which implemented suitably the tactile sense presentation control device and the tactile sense control program is explained in detail using a drawing etc.
＜第１実施形態における触覚提示制御装置の概要構成例＞
図１は、第１実施形態における触覚提示制御装置の概要構成例を示す図である。図１において、触覚提示制御装置１０は、画像データ取得手段１１と、記憶手段１２と、色領域検出手段１３と、データ変換手段１４と、振動データ生成手段（刺激情報生成手段）１５と、表示手段１６とを有する。また、図１の例では、触覚提示制御装置１０により制御される触覚提示手段１７が外部接続されているが、これに限定されるものではなく、触覚提示制御装置１０内に一体に設けられていてもよい。
<Outline Configuration Example of Tactile Presentation Control Device in First Embodiment>
FIG. 1 is a diagram illustrating a schematic configuration example of the tactile sense presentation control apparatus according to the first embodiment. In FIG. 1, the tactile sense presentation control device 10 includes an image data acquisition unit 11, a storage unit 12, a color area detection unit 13, a data conversion unit 14, a vibration data generation unit (stimulus information generation unit) 15, a display. Means 16. Further, in the example of FIG. 1, the haptic presentation unit 17 controlled by the haptic presentation control device 10 is externally connected. However, the present invention is not limited to this, and is integrally provided in the haptic presentation control device 10. May be.
画像データ取得手段１１は、表示手段１６に表示したり、触覚提示手段１７により提示する対象のコンテンツを入力し、入力したコンテンツに含まれる画像データを取得する。ここで、コンテンツとは、例えばデジタル放送やＷｅｂページ等の画像や映像、文字情報等を含むデータ群であるが、これに限定されるものではない。また、画像データとは、例えばＧＵＩ等のメニューや図表等であるが、これに限定されるものではない。画像データは、ｊｐｅｇやｇｉｆ（登録商標）、ｂｍｐ、ｔｉｆｆ等のフォーマット形式で作成されたデータを用いることができるが、フォーマットの種類等についてはこれに限定されるものではない。 The image data acquisition unit 11 inputs content to be displayed on the display unit 16 or presented by the tactile sense presentation unit 17 and acquires image data included in the input content. Here, the content is a data group including images, videos, character information, and the like such as digital broadcasts and Web pages, but is not limited thereto. The image data is, for example, a menu such as a GUI or a chart, but is not limited thereto. As the image data, data created in a format such as jpeg, gif (registered trademark), bmp, or tiff can be used, but the format type is not limited to this.
コンテンツは、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等に代表される通信ネットワークを外部装置から取得したり、メモリカード等の外部記憶装置から取得したり、記憶手段１２に予め記憶されているコンテンツを取得してもよいが、これに限定されるものではなく、例えば触覚提示制御装置１０内でコンテンツを生成し、その生成したコンテンツを用いてもよい。 The content can be acquired from an external device such as a LAN (Local Area Network) or the Internet from an external device, acquired from an external storage device such as a memory card, or the content stored in the storage unit 12 in advance. However, the present invention is not limited to this. For example, content may be generated in the haptic presentation control apparatus 10 and the generated content may be used.
記憶手段１２は、本実施形態における必要な各種情報等を記憶する。例えば、記憶手段１２は、表示手段１６の画面に表示したり触覚提示手段１７に触覚提示するコンテンツを記憶する。また、記憶手段１２は、データ変換手段１４において色情報から振動情報へ変換するための変換テーブルを記憶したり、触覚提示手段１７における刺激ピンの配列情報等を記憶するが、これに限定されるものではなく、その他の設定情報や、各処理の実行結果等を記憶する。また、記憶手段１２は、記憶された各種情報を必要に応じて読み出したり、処理結果等を書き込んだりすることができる。 The storage unit 12 stores various information necessary for the present embodiment. For example, the storage unit 12 stores content to be displayed on the screen of the display unit 16 or presented to the tactile sense presenting unit 17. The storage unit 12 stores a conversion table for converting the color information into the vibration information in the data conversion unit 14 or stores the arrangement information of the stimulation pins in the tactile sense presentation unit 17, but is not limited thereto. Other setting information, execution results of each process, and the like are stored. In addition, the storage unit 12 can read various stored information as needed, and write processing results and the like.
色領域検出手段１３は、画像データ取得手段１２により得られる画像データに対応するオブジェクト毎の色情報を検出する。色領域検出手段１３は、例えば画像データに含まれる１画素単位の色情報を取得してもよく、複数の画素を１つの領域とし、その領域毎に色情報を検出してもよい。 The color area detection unit 13 detects color information for each object corresponding to the image data obtained by the image data acquisition unit 12. For example, the color area detection unit 13 may acquire color information for each pixel included in the image data, or may detect a plurality of pixels as one area and detect the color information for each area.
ここで、色情報とは、例えば色相や輝度、彩度、飽和度等があるが、これに限定されるものではない。以下の説明では、色情報の一例として色相情報を用いる。例えば、色領域検出手段１３は、予め設定された色相環図等を用いた画素毎の色相解析等により、色相の異なる領域を検出する。 Here, the color information includes, for example, hue, luminance, saturation, saturation, and the like, but is not limited thereto. In the following description, hue information is used as an example of color information. For example, the color area detection unit 13 detects areas having different hues by hue analysis or the like for each pixel using a preset hue ring diagram or the like.
データ変換手段１４は、色領域検出手段１３により検出した各オブジェクトの色相情報（色情報）から、予め設定された刺激情報へ変換する。なお、刺激情報とは、複数の刺激ピンが配列された触覚提示手段１７によりユーザに提示される刺激情報である。刺激情報としては、例えば振動刺激や、電気刺激、温度刺激、圧力刺激等の物理的な刺激情報のうち、少なくとも１つを用いるが、これに限定されるものではない。以下の説明では、刺激情報の一例として振動を用いる。データ変換手段１４では、画像データに含まれる各色相にそれぞれ対応する振動周波数に変換する。 The data conversion means 14 converts the hue information (color information) of each object detected by the color area detection means 13 into preset stimulus information. The stimulus information is stimulus information presented to the user by the tactile sense presenting means 17 in which a plurality of stimulus pins are arranged. As the stimulus information, for example, at least one of physical stimulus information such as vibration stimulus, electrical stimulus, temperature stimulus, and pressure stimulus is used, but the stimulus information is not limited to this. In the following description, vibration is used as an example of stimulus information. The data conversion means 14 converts the vibration frequency corresponding to each hue included in the image data.
なお、データ変換手段１４は、例えばｊｐｅｇやｇｉｆ、ｐｎｇ、ｂｍｐ等の種々のフォーマット形式からなる画像データの色情報（例えば、ＲＧＢ等）に対し、色相情報と輝度情報とを別個に有するフォーマット形式（例えば、ＨＳＶ、ＨＬＳ）に変換してもよい。変換前のフォーマット形式がすでにＨＳＶ形式やＨＬＳ形式である場合、上述したフォーマット変換は行わない。データ変換手段１４における処理の具体例については後述する。 Note that the data conversion means 14 is a format format having separately hue information and luminance information for color information (for example, RGB, etc.) of image data having various format formats such as jpeg, gif, png, and bmp. (For example, it may be converted into HSV, HLS). When the format format before conversion is already the HSV format or HLS format, the above-described format conversion is not performed. A specific example of processing in the data conversion unit 14 will be described later.
振動データ生成手段１５は、データ変換手段１４により得られる各領域の振動周波数等に基づいて、触覚提示手段１７を用いてユーザに刺激を与えるための刺激情報（振動データ）を生成する。 The vibration data generation means 15 generates stimulus information (vibration data) for giving a stimulus to the user using the tactile sense presentation means 17 based on the vibration frequency of each region obtained by the data conversion means 14.
一般的に、画像データの解像度に対応する画素数と、触覚提示制御装置１５の２次元に配列された刺激ピンの数とは異なっており、画素数よりも刺激ピンの数の方が少ない。したがって、振動データ生成手段１５は、画像データ取得手段１１により得られる画像データの解像度と、予め記憶手段１２等に記憶されている触覚提示手段１７の刺激ピンの数とを対応させて画素落としを行う。画素落としとは、例えば１つの刺激ピンに複数の画素領域を対応付ける処理であるが、これに限定されるものではない。振動データ生成手段１５は、各刺激ピンに振動の周波数（周期）を設定する。 In general, the number of pixels corresponding to the resolution of the image data is different from the number of stimulation pins arranged two-dimensionally in the tactile sense presentation control device 15, and the number of stimulation pins is smaller than the number of pixels. Therefore, the vibration data generation means 15 performs pixel dropping by associating the resolution of the image data obtained by the image data acquisition means 11 with the number of stimulation pins of the tactile sense presentation means 17 stored in advance in the storage means 12 or the like. Do. Pixel dropping is a process of associating a plurality of pixel areas with one stimulation pin, for example, but is not limited to this. The vibration data generation means 15 sets the vibration frequency (cycle) for each stimulation pin.
表示手段１６は、コンテンツを表示したり、データ変換手段１４により変換された振動情報を含むデータ等を画面に表示する。なお、表示手段１６は、例えばモニタやディスプレイ等があるが、これに限定されるものではない。なお、図１に示す表示手段１６は、触覚提示制御装置１０の内部に設けられているが、これに限定されるものではなく、例えばＬＡＮやインターネット等に代表される通信ネットワークを介して接続される遠隔にある表示手段であってもよい。 The display means 16 displays content or data including vibration information converted by the data conversion means 14 on the screen. The display means 16 includes, for example, a monitor and a display, but is not limited thereto. The display unit 16 shown in FIG. 1 is provided inside the tactile sense presentation control apparatus 10, but is not limited to this, and is connected via a communication network represented by a LAN or the Internet, for example. It may be a remote display means.
触覚提示手段１７は、ディスプレイ領域に複数の刺激ピンが所定の間隔で２次元に配列されており、その刺激ピンを上下させて表面に凹凸を形成することにより、ユーザの指等を用いた触覚提示を実現する。触覚提示手段１７は、例えば触覚ディスプレイであり、例えばＫＧＳ社のドットビュー等を用いることができるが、これに限定されるものではない。 The tactile sense presenting means 17 has a plurality of stimulation pins arranged two-dimensionally at a predetermined interval in the display area, and the tactile sense using a user's finger or the like is formed by moving the stimulation pins up and down to form irregularities on the surface. Realize the presentation. The tactile sense presenting means 17 is, for example, a tactile display and can use, for example, a dot view of KGS, but is not limited thereto.
また、触覚提示手段１７は、上述した刺激情報も提示する機能を有する。例えば、振動の提示の場合には、色相毎に設定される振動周波数に基づいて、対応する刺激ピンの凹凸周期を制御することで振動の提示を行うことができる。また、電気刺激の場合には、例えば対応する刺激ピンに所定量の電流を所定間隔で印加することで電気による刺激を提示することができる。また、温度刺激の場合には、対応する刺激ピンに発熱素子等からの熱を伝達させることで熱による刺激を提示することができる。また、圧力刺激の場合には、対応する刺激ピンを凹状態から凸状態にするときの押圧力や刺激ピンの高さ等を調整することで圧力による刺激を提示することができる。 The tactile sense presenting means 17 has a function of presenting the above-described stimulus information. For example, in the case of presentation of vibration, vibration can be presented by controlling the concave / convex period of the corresponding stimulation pin based on the vibration frequency set for each hue. In the case of electrical stimulation, for example, electrical stimulation can be presented by applying a predetermined amount of current to the corresponding stimulation pin at predetermined intervals. In the case of temperature stimulation, the heat stimulation can be presented by transmitting heat from the heating element or the like to the corresponding stimulation pin. In the case of pressure stimulation, stimulation by pressure can be presented by adjusting the pressing force and the height of the stimulation pin when the corresponding stimulation pin is changed from the concave state to the convex state.
なお、上述した触覚提示制御装置１０は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やサーバ、タブレット端末等を用いることができるが、これに限定されるものではない。 For example, a PC (Personal Computer), a server, or a tablet terminal can be used as the haptic presentation control apparatus 10 described above, but the present invention is not limited to this.
＜データ変換手段１４におけるデータ変換例＞
次に、上述したデータ変換手段１４における色情報から刺激情報へのデータ変換の一例について具体的に説明する。図２は、色相情報から振動情報へのデータ変換例を示す図である。
<Data Conversion Example in Data Conversion Unit 14>
Next, an example of data conversion from color information to stimulus information in the data conversion means 14 described above will be specifically described. FIG. 2 is a diagram illustrating an example of data conversion from hue information to vibration information.
第１実施形態では、取得した画像データに対して画素毎の色情報（例えば、色相（Ｈ））を検出する。なお、ＨＳＶの色情報は、Ｈ（色相）、Ｖ（彩度）、Ｓ（飽和度）で、それぞれ１画素毎に８ビット（ｂｉｔ）のデータを有する。 In the first embodiment, color information (for example, hue (H)) for each pixel is detected from the acquired image data. The HSV color information is H (hue), V (saturation), and S (saturation), and each pixel has 8-bit data.
また、第１実施形態では、図２（Ａ）に示すような色相環図２１に対し、任意の色相範囲に分割し、分割した各色相範囲を識別するコードを割り当てる。色相データは、色相環図２１の０〜３６０°に対応しているが、例えば図２（Ａ）のカッコ内に示すように、２°毎に値をカウントさせて０〜１８０°の値で対応付けてもよい。 In the first embodiment, the hue circle diagram 21 as shown in FIG. 2A is divided into arbitrary hue ranges, and a code for identifying each divided hue range is assigned. The hue data corresponds to 0 to 360 ° in the hue circle diagram 21. For example, as shown in the parentheses in FIG. 2A, the value is counted every 2 ° and the value is 0 to 180 °. You may associate.
また、第１実施形態では、予め図２（Ｂ）示すような色相−振動変換テーブル２２を設定しておき、色相範囲のコード毎に振動情報を割り当てる。色相−振動変換テーブル２２の項目としては、例えば「色相（°）」、「タグ属性値」、「識別コード」、「振動（Ｈｚ）」等であるが、これに限定されるものではない。タグ属性値とは、例えば色相範囲に対応する色の属性情報を示す。また、振動とは、例えば触覚提示手段１７が有する刺激ピンを上下振動させるための周波数（周期）を識別するための情報であるが、これに限定されるものではなく、周波数がそのまま格納されていてもよい。第１実施形態では、色相−振動変換テーブル２２を用いて、各画素の色相に対応するコードから、所定の振動周波数を設定する。 In the first embodiment, a hue-vibration conversion table 22 as shown in FIG. 2B is set in advance, and vibration information is assigned to each code in the hue range. The items of the hue-vibration conversion table 22 are, for example, “hue (°)”, “tag attribute value”, “identification code”, “vibration (Hz)”, but are not limited thereto. The tag attribute value indicates, for example, color attribute information corresponding to the hue range. The vibration is information for identifying a frequency (period) for vibrating the stimulation pin included in the tactile sense presenting means 17 for example, but is not limited to this, and the frequency is stored as it is. May be. In the first embodiment, a predetermined vibration frequency is set from the code corresponding to the hue of each pixel using the hue-vibration conversion table 22.
例えば、図２（Ｂ）に示す色相−振動変換テーブル２２では、振動周波数の種類を、３ビットを用いた８レベルに設定することで、８等分した色相範囲に対して振動ｆ０〜ｆ７を設定することができる。この場合、変換する振動周波数は、例えば色情報が赤のように暖色系の色ではゆったりとした低い周波数に設定し、青のように寒色系の色には高い周波数に設定する等、人間の感性に応じた周波数に設定することが好ましいが、これに限定されるものではない。 For example, in the hue-vibration conversion table 22 shown in FIG. 2B, by setting the type of vibration frequency to 8 levels using 3 bits, vibrations f0 to f7 are applied to the hue range divided into eight. Can be set. In this case, the vibration frequency to be converted is set to a low frequency that is relaxed for warm colors such as red, and is set to a high frequency for cold colors such as blue. Although it is preferable to set the frequency according to sensitivity, it is not limited to this.
また、図２（Ｂ）に示す色相−振動変換テーブル２２では、各色相範囲の全てに振動情報が設定されているが、これに限定されるものではなく、一部の色相範囲に対してのみ振動情報が設定されていてもよい。 In the hue-vibration conversion table 22 shown in FIG. 2B, the vibration information is set for all the hue ranges, but the present invention is not limited to this, and only for some hue ranges. Vibration information may be set.
更に、第１実施形態では、図２（Ｃ）に示すように、画像データに含まれる１画素の色相情報（８ビット）に対して、表示手段１６に表示するための表示用データと、触覚提示手段１７の刺激ピンを振動させるための振動用データとを設定する。具体的には、データ変換手段１４は、図２（Ｃ）に示すように、ある画素部分の色相（タグ属性値）がＢｌｕｅ（青）の場合に、その色相情報（８ビット）の上位５ビットは、そのまま表示用データとして用い、下位３ビットに図２（Ｂ）を色相−振動変換テーブル２２から得られるコードに置き換える。 Furthermore, in the first embodiment, as shown in FIG. 2C, the display data for displaying on the display means 16 and the tactile sense for the hue information (8 bits) of one pixel included in the image data. Vibration data for vibrating the stimulation pin of the presentation means 17 is set. Specifically, as shown in FIG. 2C, when the hue (tag attribute value) of a certain pixel portion is Blue (blue), the data conversion unit 14 displays the upper 5 bits of the hue information (8 bits). The bits are used as display data as they are, and the lower 3 bits are replaced with a code obtained from the hue-vibration conversion table 22 in FIG.
つまり、第１実施形態では、色相情報の下位３ビットを振動用データとして保持することができ、図２（Ｃ）に示すような色相情報を用いることで、触覚提示手段１７における刺激ピンを振動させる場合には、下位３ビットを用いて対応する振動を発生させてユーザに触覚による提示を行わせることができる。具体的には、色相情報の下位３ビットが、例えばコード「１０１」である場合に、色相−振動変換テーブル２２から対応する振動周波数「ｆ５」を取得して刺激ピンを振動させることができる。 That is, in the first embodiment, the lower 3 bits of the hue information can be held as vibration data, and the hue information as shown in FIG. 2C is used to vibrate the stimulation pin in the tactile sense presenting means 17. In this case, the corresponding vibration can be generated using the lower 3 bits and the user can be presented by tactile sensation. Specifically, when the lower 3 bits of the hue information are, for example, the code “101”, the corresponding vibration frequency “f5” can be acquired from the hue-vibration conversion table 22 to vibrate the stimulation pin.
また、色相情報の上位５ビットを用いることで、表示手段１６によりコンテンツに含まれる画像データをユーザに視覚的に表示することができる。第１実施形態では、色相情報に振動用データを含めることで、伝送容量の圧縮にもつながる。 Further, by using the upper 5 bits of the hue information, the display unit 16 can visually display the image data included in the content to the user. In the first embodiment, the vibration data is included in the hue information, which leads to compression of the transmission capacity.
なお、第１実施形態では、色相情報に振動用データを含ませるため、実際の色相と値が異なってしまい、下位３ビットの影響で色の再現には若干の歪が生ずる可能性がある。しかしながら、上位５ビットが元の色相情報のままであるため、大きな誤差は見られず、表示手段１６等において違和感のない画像表示を行うことができる。 In the first embodiment, since the vibration data is included in the hue information, the actual hue is different from the value, and there is a possibility that the color reproduction is slightly distorted due to the influence of the lower 3 bits. However, since the upper 5 bits remain as the original hue information, a large error is not seen, and the display unit 16 or the like can display an image with no sense of incongruity.
なお、色の歪みの影響をより小さくするために、色相情報を用いて表示手段１６等に表示する場合に、全８ビットのうちの下位３ビットの値を予め設定される中間値に補正して表示してもよい。例えば、下位３ビットが「０００」や「１１１」の場合には、「０１１」や「１００」等に補正される。これにより、色再現の誤差を分散させることができる。 In order to reduce the influence of color distortion, when displaying on the display means 16 using hue information, the lower 3 bits of all 8 bits are corrected to a preset intermediate value. May be displayed. For example, when the lower 3 bits are “000” or “111”, they are corrected to “011”, “100”, or the like. As a result, color reproduction errors can be dispersed.
更に、第１実施形態では、画像データ中の全ての画素が変換された後、振動データ生成手段１５において、同一に配色された画像中のオブジェクトに対し、図２（Ｃ）に示すように、触覚提示手段１７の刺激ピン数に合わせた画素落としが行われる。また、第１実施形態では、それぞれの刺激ピンに割り当てられたそれぞれの周波数で振動するデータが作成される。振動データ生成手段１５で作成された刺激ピンの振動パターンのデータは、触覚提示手段１７のそれぞれの刺激ピンを駆動する。 Furthermore, in the first embodiment, after all the pixels in the image data are converted, the vibration data generating unit 15 applies the same color to the objects in the image as shown in FIG. Pixel dropping according to the number of stimulation pins of the tactile sense presenting means 17 is performed. In the first embodiment, data that vibrates at each frequency assigned to each stimulation pin is created. The stimulation pin vibration pattern data created by the vibration data generation means 15 drives each stimulation pin of the tactile sense presentation means 17.
なお、上述した例では、表示用データを上位５ビットとし、振動用データを下位３ビットとしたがこれに限定されるものではなく、例えば下位２ビットや下位４ビットを振動用データにしてもよい。例えば、下位２ビットを振動用データにする場合には、上述した色相環図２１を最大４種類の色相範囲に分割することができる。 In the above example, the display data is the upper 5 bits and the vibration data is the lower 3 bits. However, the present invention is not limited to this. For example, the lower 2 bits and the lower 4 bits are used as the vibration data. Good. For example, when the lower 2 bits are used as vibration data, the above-described hue circle diagram 21 can be divided into a maximum of four types of hue ranges.
なお、色相データにおいて、置き換えるビットが下位であるほど、及び、置き換えるビット数が少ないほど、表示用データの変更がなく色相情報に近い色情報を表示手段１６に表示することができる。 In the hue data, the lower the number of bits to be replaced and the smaller the number of bits to be replaced, the more display information can be displayed on the display means 16 without changing the display data.
また、振動用データは、色相情報の下位ビットに設定されているが、これに限定されるものではなく、例えば上位数ビットを用いて設定してもよい。 Further, although the vibration data is set in the lower bits of the hue information, the present invention is not limited to this, and may be set using upper bits, for example.
このように、第１実施形態では、画像データに含まれる各オブジェクトの色相を検出し、同一の色相の領域を振動に変えて触覚提示手段１７（触覚ディスプレイ）で提示することで、提示するオブジェクトに対するユーザの認識精度を向上させることができ、オブジェクトの配置や内容を迅速に取得することができる。 As described above, in the first embodiment, the object to be presented is detected by detecting the hue of each object included in the image data, and changing the same hue area into vibration and presenting it with the tactile sense presenting means 17 (tactile display). The recognition accuracy of the user can be improved, and the arrangement and contents of the object can be acquired quickly.
＜画像データ例＞
ここで、図３は、画像データ取得手段により取得される画像データの一例を示す図である。図３に示す画像データにおいて、図３（Ａ）、図３（Ｂ）は、コンテンツに含まれる画像データの一例を示し、図３（Ｃ）〜図３（Ｅ）は、マークアップ記述情報を有するコンテンツの一例を示している。マークアップ記述情報とは、コンテンツに含まれる画像データに対応するオブジェクト情報やレイアウト情報等が所定のマークアップ言語で記述された情報であり、コンテンツとは別に生成される情報である。
<Example of image data>
Here, FIG. 3 is a diagram illustrating an example of image data acquired by the image data acquisition unit. In the image data shown in FIG. 3, FIGS. 3A and 3B show examples of image data included in the content, and FIGS. 3C to 3E show markup description information. 2 shows an example of content that the user has. The markup description information is information in which object information, layout information, and the like corresponding to image data included in the content are described in a predetermined markup language, and is generated separately from the content.
図３（Ａ）、図３（Ｃ）、図３（Ｅ）の例では、オブジェクトの背景画像として北海道の画像データ（地図情報）が示されており、北海道の所定の地域（領域）に対するオブジェクト情報が色や形状等を異ならせて表示されている。なお、図３（Ｃ）の例では、色や形状を異ならせて表示された各オブジェクト情報（Ｏｂｊ１〜Ｏｂｊ３）が、マークアップ言語で記述されている。また、図３（Ｅ）の例では、色の異なる領域で示されたオブジェクト情報（Ｏｂｊ１〜Ｏｂｊ５）と、表示範囲（枠）で示されたオブジェクト情報（Ｏｂｊ６）とがマークアップ言語で記述されている。 In the examples of FIGS. 3A, 3C, and 3E, Hokkaido image data (map information) is shown as the background image of the object, and the object for a predetermined region (region) in Hokkaido. Information is displayed in different colors and shapes. In the example of FIG. 3C, each object information (Obj1 to Obj3) displayed in different colors and shapes is described in a markup language. In the example of FIG. 3E, object information (Obj1 to Obj5) indicated by areas of different colors and object information (Obj6) indicated by a display range (frame) are described in a markup language. ing.
また、図３（Ｂ）、図３（Ｄ）の例では、日本地図の画像データが示されており、各地方区分（例えば、北海道、東北、関東、中部、近畿、中国、四国、九州、沖縄）毎に、色分けして表示されている。図３（Ｄ）では、図３（Ｂ）と視覚的には同じであるが図３（Ｄ）に示すオブジェクト情報（Ｏｂｊ１〜Ｏｂｊ５）は、マークアップ言語で記述されている。 In addition, in the examples of FIGS. 3B and 3D, image data of a Japanese map is shown, and each regional division (for example, Hokkaido, Tohoku, Kanto, Chubu, Kinki, China, Shikoku, Kyushu, (Okinawa) is displayed in different colors. 3D, which is visually the same as FIG. 3B, the object information (Obj1 to Obj5) shown in FIG. 3D is described in a markup language.
例えば、図３（Ａ）や図３（Ｂ）の例では、色相範囲に基づいて分別されたオブジェクトに対して異なる振動情報で提示することができる。更に、図３（Ｃ）〜図３（Ｅ）の例では、色で分別されたオブジェクトの他にも、マークアップ言語で記述したオブジェクト部分に対して情報を付加して提示することができる。 For example, in the examples of FIG. 3A and FIG. 3B, the objects sorted based on the hue range can be presented with different vibration information. Further, in the examples of FIGS. 3C to 3E, information can be added to an object portion described in a markup language in addition to the objects classified by color.
第１実施形態では、図３（Ａ）〜図３（Ｅ）に示すような各画像データから、色情報を含む領域を検出し、検出した色情報等に基づいて触覚提示手段１７により提示するオブジェクト部分の振動を異ならせることで、提示するオブジェクトに対するユーザの認識精度を向上させることができる。 In the first embodiment, a region including color information is detected from each piece of image data as shown in FIGS. 3A to 3E and is presented by the tactile sense presenting means 17 based on the detected color information and the like. By making the vibration of the object part different, the user's recognition accuracy for the object to be presented can be improved.
＜第２実施形態における触覚提示制御装置の概要構成例＞
次に、第２実施形態における触覚提示制御装置について、図を用いて説明する。図４は、第２実施形態における触覚提示制御装置の概要構成例を示す図である。なお、図４の例において、上述した触覚提示制御装置１０と同様の機能構成については同一の符号を付するものとし、ここでの具体的な説明は省略する。
<Outline Configuration Example of Tactile Presentation Control Device in Second Embodiment>
Next, a tactile sense presentation control apparatus according to the second embodiment will be described with reference to the drawings. FIG. 4 is a diagram illustrating a schematic configuration example of the tactile sense presentation control apparatus according to the second embodiment. In addition, in the example of FIG. 4, the same code | symbol shall be attached | subjected about the function structure similar to the tactile sense presentation control apparatus 10 mentioned above, and specific description here is abbreviate | omitted.
図５は、第２実施形態において局所的に振動提示を行う手法を説明するための図である。図５の例において、図５（Ａ）は、マークアップ記述情報の一例を示し、図５（Ｂ）は、提示情報の合成例を示す図である。 FIG. 5 is a diagram for explaining a technique for locally presenting vibrations in the second embodiment. In the example of FIG. 5, FIG. 5A shows an example of markup description information, and FIG. 5B is a diagram showing a synthesis example of presentation information.
図４において、触覚提示制御装置３０は、画像データ取得手段１１と、記憶手段１２と、色領域検出手段１３と、データ変換手段１４と、表示手段１６と、オブジェクト抽出手段３１と、レイアウト生成手段３２と、振動オブジェクト抽出手段３３と、振動データ生成手段３４と、振動優先制御手段（刺激優先度制御手段）３５とを有する。また、図４の例では、触覚提示制御装置３０により制御される触覚提示手段１７が外部接続されているが、これに限定されるものではなく、触覚提示制御装置３０内に一体に設けられていてもよい。 In FIG. 4, the tactile sense presentation control device 30 includes an image data acquisition means 11, a storage means 12, a color area detection means 13, a data conversion means 14, a display means 16, an object extraction means 31, and a layout generation means. 32, vibration object extraction means 33, vibration data generation means 34, and vibration priority control means (stimulus priority control means) 35. In the example of FIG. 4, the haptic presentation unit 17 controlled by the haptic presentation control device 30 is externally connected. However, the present invention is not limited to this, and is integrally provided in the haptic presentation control device 30. May be.
第２実施形態では、例えば、上述した図３（Ｃ）〜図３（Ｅ）に示すような画像データと、マークアップ言語により記述されたオブジェクトとが混在し、重なりのあるコンテンツにおいて局所的に振動提示を行う。 In the second embodiment, for example, the image data as shown in FIGS. 3C to 3E described above and an object described in a markup language are mixed, and locally in overlapping contents. Make a vibration presentation.
オブジェクト抽出手段３１は、例えば画像データ取得手段１１に入力されるコンテンツに対応したマークアップ記述情報を入力し、入力したマークアップ記述情報からコンテンツに含まれるオブジェクトを抽出する。また、オブジェクト抽出手段３１は、各オブジェクトの位置情報や形状、大きさ等を抽出してもよい。 The object extraction unit 31 inputs, for example, markup description information corresponding to the content input to the image data acquisition unit 11, and extracts an object included in the content from the input markup description information. Further, the object extraction means 31 may extract position information, shape, size and the like of each object.
ここで、マークアップ記述情報には、コンテンツに含まれる各オブジェクトのレイアウトや振動条件等の情報が記述されている。具体的には、図５（Ａ）に示すように、オブジェクトの識別情報（＜Ｎｏ＞）、オブジェクト形状（＜ｆｉｇｕｒｅ＞）、振動条件（振動周波数の識別情報）（＜ｖｉｂ＞）等が記述されるが、記述される内容についてはこれに限定されるものではなく、例えばオブジェクトの位置情報や大きさ等の情報を有していてもよい。また、上述したマークアップ記述情報は、コンテンツとは別に生成されるため、例えばコンテンツ制作者側が生成してもよく、コンテンツを見た第三者が作成してもよく、コンテンツを取得した触覚提示制御装置３０のユーザが作成してもよいが、これに限定されるものではない。 Here, in the markup description information, information such as the layout and vibration conditions of each object included in the content is described. Specifically, as shown in FIG. 5A, object identification information (<No>), object shape (<figure>), vibration condition (vibration frequency identification information) (<vib>), and the like are described. However, the contents to be described are not limited to this, and may include information such as position information and size of the object, for example. In addition, since the markup description information described above is generated separately from the content, for example, the content creator may generate the markup description information, or a third party who viewed the content may create the tactile presentation that acquired the content. Although the user of the control apparatus 30 may create, it is not limited to this.
レイアウト生成手段３２は、オブジェクト抽出手段３１により抽出されたそれぞれのオブジェクトの位置情報からオブジェクトに対する画面レイアウトを生成する。 The layout generation unit 32 generates a screen layout for the object from the position information of each object extracted by the object extraction unit 31.
振動オブジェクト抽出手段３３は、オブジェクト抽出手段３１により抽出されたオブジェクトのうち、振動による提示を行うオブジェクトを抽出する。また、振動オブジェクト抽出手段３３は、抽出されたオブジェクトに設定された振動条件を抽出する。 The vibration object extraction unit 33 extracts an object to be presented by vibration from the objects extracted by the object extraction unit 31. Moreover, the vibration object extraction means 33 extracts the vibration conditions set for the extracted object.
振動データ生成手段３４は、コンテンツに含まれる画像データと、マークアップ記述情報に含まれるオブジェクトとが混在するコンテンツにおいて、画像データとオブジェクトとのそれぞれで振動させる触覚提示手段１７の刺激ピンの駆動データを生成する。 The vibration data generation means 34 drives the stimulation pin drive data of the tactile sense presentation means 17 that vibrates each of the image data and the object in the content in which the image data included in the content and the object included in the markup description information are mixed. Is generated.
振動優先制御手段３５は、画像データとオブジェクトとに重なりがある場合に、どちらの条件を優先して触覚提示手段１７の刺激ピンを振動させるかを制御する。 The vibration priority control unit 35 controls which condition is prioritized to vibrate the stimulation pin of the tactile sense presentation unit 17 when there is an overlap between the image data and the object.
第２実施形態では、例えば図３（Ｃ）〜図３（Ｅ）に示すようなコンテンツの場合に、画像データとマークアップ記述情報に含まれるオブジェクトとの重複表示部分に対する触覚での振動制御を行う。 In the second embodiment, for example, in the case of content as shown in FIGS. 3C to 3E, vibration control by tactile sensation is performed on the overlapping display portion of the image data and the object included in the markup description information. Do.
図４におけるデータ変換手段１４から出力される図４の（ａ）地点の信号は、図５（Ｂ）の（ａ）に示すように、画像中の色相の異なる領域に対して、ｆ１〜ｆ４のように異なる振動情報が設定される。なお、図５（Ｂ）の例では、色相の異なる一部の領域に対して振動情報が設定されているが、これは、上述した色相−振動変換テーブル２２において、その色相に対応する色相範囲にのみ振動情報が設定されているからである。 The signal at the point (a) in FIG. 4 output from the data conversion unit 14 in FIG. 4 is f1 to f4 with respect to regions having different hues in the image as shown in (a) in FIG. Different vibration information is set as follows. In the example of FIG. 5B, vibration information is set for a part of regions having different hues. This is a hue range corresponding to the hues in the hue-vibration conversion table 22 described above. This is because the vibration information is set only for.
一方、コンテンツに対応するマークアップ記述情報（図５（Ａ））は、オブジェクト抽出手段３１によりコンテンツ内のオブジェクトが抽出され、更にレイアウト生成手段３２により各オブジェクトの画面レイアウトが生成される。 On the other hand, in the markup description information corresponding to the content (FIG. 5A), the object in the content is extracted by the object extraction means 31, and the screen layout of each object is generated by the layout generation means 32.
また、振動オブジェクト抽出手段３３では、図５（Ａ）に示す＜ｖｉｂ＞タグで振動条件が設定されたオブジェクトを抽出する。振動オブジェクト抽出手段３３から出力される図４の（ｂ）地点の信号は、図５（Ｂ）中の（ｂ）に示すように、ｆａ、ｆｂの周波数の振動パターンが形成される。なお、ｆａ、ｆｂのオブジェクトは、マークアップ記述情報の内容に基づいて生成されるため、画像データの色相には依存しないことになる。 In addition, the vibration object extraction means 33 extracts an object for which vibration conditions are set with a <vib> tag shown in FIG. The signal at the point (b) in FIG. 4 outputted from the vibration object extracting means 33 forms a vibration pattern with frequencies fa and fb as shown in (b) in FIG. 5 (B). Note that the fa and fb objects are generated based on the contents of the markup description information, and thus do not depend on the hue of the image data.
ここで、図５（Ｂ）に示す画像データ及びマークアップ記述情報によるレイアウト生成データは、振動データ生成手段３４にて上述した第１実施形態と同様に、記憶手段１２に予め記憶された触覚提示手段１７の刺激ピン数に合わせて画素落としされる。また、振動優先制御手段３５は、刺激ピンの振動提示の優先度に応じて、最終的な振動周波数が設定される。 Here, the layout generation data based on the image data and the markup description information shown in FIG. 5B is the tactile presentation stored in advance in the storage unit 12 in the vibration data generation unit 34 as in the first embodiment described above. Pixels are dropped according to the number of stimulation pins of the means 17. Further, the vibration priority control means 35 sets the final vibration frequency according to the priority of vibration presentation of the stimulation pin.
ここで、優先度は、例えば種々の方法で画面の前面に表示される重要なオブジェクトに設定された振動周波数で振動させることが好ましいが、これに限定されるものではない。例えば、第１の優先制御方法としては、マークアップ記述情報に含まれるオブジェクトに、振動周波数が設定されている場合には触覚提示手段１７による振動は、マークアップ記述情報に含まれるオブジェクトに対する振動条件を優先させる。例えば、図４における振動優先制御手段３５から出力される図４の（ｃ）地点の信号は、図５（Ｂ）の（ｃ）に示すように、振動周波数ｆ１で振動させる画像データ（オブジェクト）の領域と、振動周波数ｆａで振動させるマークアップ記述情報によるオブジェクトの領域とが重なるが、第１の優先制御方法を適用すれば、重なり部分の振動周波数はｆａとなる。 Here, for example, the priority is preferably set to vibrate at a vibration frequency set for an important object displayed on the front surface of the screen by various methods, but is not limited thereto. For example, as a first priority control method, when the vibration frequency is set for the object included in the markup description information, the vibration by the tactile sense presentation unit 17 is the vibration condition for the object included in the markup description information. To give priority. For example, the signal at the point (c) in FIG. 4 output from the vibration priority control means 35 in FIG. 4 is image data (object) to vibrate at the vibration frequency f1, as shown in (c) of FIG. And the region of the object based on the markup description information to be vibrated at the vibration frequency fa. If the first priority control method is applied, the vibration frequency of the overlapping portion is fa.
また、第２の優先制御方法としては、マークアップ記述情報に含まれるオブジェクトの振動周波数が０Ｈｚの場合や、マークアップ記述情報に振動周波数が設定されていない場合には、色相に対する振動条件、つまり画像データが優先される。 Further, as a second priority control method, when the vibration frequency of the object included in the markup description information is 0 Hz, or when the vibration frequency is not set in the markup description information, the vibration condition for the hue, that is, Priority is given to image data.
また、第３の優先制御方法としては、例えばマークアップ記述情報に含まれるオブジェクトが画像データと重なる場合に、優先度を指定するタグ（例えば、＜ｐｒｉｏｒｉｔｙ＞）を設け、そのタグの設定値に応じて優先させる方法である。例えば、画像データに対して設定された振動条件を優先させる場合には、「＜ｐｒｉｏｒｉｔｙ＞ｉｍａｇｅ ｄａｔａ＜／ｐｒｉｏｒｉｔｙ＞」等と記述されるが、記述内容についてはこれに限定されるものではない。 As a third priority control method, for example, when an object included in the markup description information overlaps with image data, a tag (for example, <priority>) for specifying the priority is provided, and the setting value of the tag is set. It is a method to give priority according to. For example, when giving priority to the vibration condition set for the image data, “<priority> image data </ priority>” is described, but the description content is not limited to this.
なお、第２実施形態において、例えば振動提示の領域は全て画像データの色相情報に基づいて設定し、マークアップ記述情報に含まれる全てのオブジェクトを非画像領域に設定しておくことで、マークアップ記述情報に含まれるオブジェクトは触覚パターンとして表示されず、そのオブジェクトの領域に触れた場合に音声を出力する機能を持たせることもできる。 In the second embodiment, for example, all the vibration presentation areas are set based on the hue information of the image data, and all the objects included in the markup description information are set as non-image areas. An object included in the description information is not displayed as a tactile pattern, and a function of outputting a sound when the area of the object is touched can be provided.
ここで、マークアップ記述情報に含まれるオブジェクトは、画像データの上に存在することが多い。したがって、オブジェクト間の各振動周波数や、色相情報間での各振動周波数では、それぞれ触覚で判別できる振動条件に設定するが、オブジェクトの振動周波数ｆａ、ｆｂと、画像の色相情報から生成される振動周波数ｆ１〜ｆ４との間でも、振動の違いが明確に弁別できる範囲に設定することが好ましい。 Here, the objects included in the markup description information often exist on the image data. Therefore, although vibration conditions between objects and vibration frequencies between hue information are set to vibration conditions that can be discriminated by tactile sense, vibrations generated from object vibration frequencies fa and fb and hue information of an image. It is preferable to set within a range in which the difference in vibration can be clearly distinguished even between the frequencies f1 to f4.
最終的に、振動データ生成手段３４で生成された刺激ピンの振動パターンのデータは、振動優先制御手段３５において優先された振動条件に基づいて触覚提示手段１７の対応する刺激ピンを駆動する。このように、第２実施形態では、画像データとマークアップ記述情報に含まれるオブジェクトとが混在する場合に、優先して振動提示する領域を設定し、設定された優先度で触覚提示手段１７を提示することで、画像中に配置された重要な領域を迅速に伝達することができる。 Finally, the stimulation pin vibration pattern data generated by the vibration data generation unit 34 drives the corresponding stimulation pin of the tactile sense presentation unit 17 based on the vibration condition prioritized by the vibration priority control unit 35. As described above, in the second embodiment, when the image data and the object included in the markup description information coexist, the region to be preferentially presented with vibration is set, and the tactile sense providing means 17 is set with the set priority. By presenting, it is possible to quickly transmit important regions arranged in the image.
＜第３実施形態における触覚提示制御装置の概要構成例＞
次に、第３実施形態における触覚提示制御装置について、図を用いて説明する。図６は、第３実施形態における触覚提示制御装置の概要構成例を示す図である。なお、図６において、上述した第２実施形態における触覚提示制御装置３０と同様の機能構成については、同一の符号を付するものとし、ここでの具体的な説明は省略する。
<Outline Configuration Example of Tactile Presentation Control Device in Third Embodiment>
Next, a tactile sense presentation control apparatus according to the third embodiment will be described with reference to the drawings. FIG. 6 is a diagram illustrating a schematic configuration example of the tactile sense presentation control apparatus according to the third embodiment. In FIG. 6, the functional components similar to those of the tactile sense presentation control device 30 in the second embodiment described above are denoted by the same reference numerals, and detailed description thereof is omitted here.
また、図７は、非画像領域を除く表示領域を振動提示する一例を示す図である。図７（Ａ）は、コンテンツに含まれるオブジェクトと、オブジェクトに対するマークアップ記述情報による振動条件の記述例を示し、図７（Ｂ）は、振動なし領域について説明するための図を示している。また、図８は、非画像領域部を含むオブジェクトが重なる場合の表示領域を振動提示する一例を示す図である。 FIG. 7 is a diagram illustrating an example in which the display area excluding the non-image area is presented by vibration. FIG. 7A shows an object included in the content and a description example of the vibration condition by the markup description information for the object, and FIG. 7B shows a diagram for explaining the vibration-free region. FIG. 8 is a diagram illustrating an example in which a display area is presented in a vibration manner when objects including non-image area portions overlap each other.
第３実施形態では、図７（Ａ）に示すようにコンテンツに含まれるマークアップ記述情報に含まれるオブジェクトにおいて、例えば図７（Ｂ）のオブジェクト（Ｏｂｊ２）のようにＸＹ座標で設定された矩形（ｒｅｃｔａｎｇｌｅ）の表示領域のうち、画像が存在しない通常透明で表示される非画像領域の部分、或いは、複数のオブジェクトの表示領域が重なる部分に対する振動制御を行う。なお、通常透明で表示される非画像領域の部分は、図７（Ｂ）の（ｃ）に示される斜線部分である。また、複数のオブジェクトの表示領域が重なる部分は、図８に示す斜線部分である。 In the third embodiment, as shown in FIG. 7A, in the object included in the markup description information included in the content, for example, a rectangle set in XY coordinates like the object (Obj2) in FIG. 7B. In the (rectangle) display area, vibration control is performed on a part of a non-image area that is normally displayed in a transparent state where no image is present, or a part where display areas of a plurality of objects overlap. Note that the portion of the non-image area that is normally displayed in a transparent manner is a hatched portion shown in (c) of FIG. A portion where the display areas of a plurality of objects overlap is a shaded portion shown in FIG.
第３実施形態において、図６に示す触覚提示制御装置４０は、画像データ取得手段１１と、記憶手段１２と、色領域検出手段１３と、データ変換手段１４と、表示手段１６と、オブジェクト抽出手段３１と、レイアウト生成手段３２と、振動オブジェクト抽出手段３３と、振動優先制御手段３５と、非画像領域検出手段（非オブジェクト領域検出手段）４１と、振動データ生成手段４２とを有する。また、図６の例では、触覚提示制御装置４０により制御される触覚提示手段１７が外部接続されているが、これに限定されるものではなく、触覚提示制御装置４０内に一体に設けられていてもよい。 In the third embodiment, the tactile sense presentation control device 40 shown in FIG. 6 includes an image data acquisition unit 11, a storage unit 12, a color area detection unit 13, a data conversion unit 14, a display unit 16, and an object extraction unit. 31, layout generation means 32, vibration object extraction means 33, vibration priority control means 35, non-image area detection means (non-object area detection means) 41, and vibration data generation means 42. In the example of FIG. 6, the haptic presentation unit 17 controlled by the haptic presentation control device 40 is externally connected. However, the present invention is not limited to this, and is integrally provided in the haptic presentation control device 40. May be.
触覚提示制御装置４０において、非画像領域検出手段４１は、画像データに含まれる画像のオブジェクトを含む矩形領域を、ＸＹ座標等を用いて設定し、設定した矩形領域のうち、画像データのオブジェクトが存在しない非画像領域部分を検出する。例えば、図７（Ｂ）の例ではＯｂｊ２の非画像の領域を検出しているが、これに限定されるものではなく、非画像領域検出手段４１は、各オブジェクトに対して非画像領域部分を検出する。 In the tactile sense presentation control device 40, the non-image area detecting means 41 sets a rectangular area including an image object included in the image data using XY coordinates or the like. A non-existing non-image area portion is detected. For example, in the example of FIG. 7B, a non-image area of Obj2 is detected. However, the present invention is not limited to this. The non-image area detection unit 41 detects a non-image area portion for each object. To detect.
なお、非画像領域検出手段４１における検出手法として、複数の手法を用いることができる。例えば、第１の検出手法では、所定のフォーマット（例えば、ｇｉｆやｐｎｇ等の）の画像データで非画像領域が記述されたコードを抽出することで非画像領域を検出する。 A plurality of methods can be used as the detection method in the non-image area detection means 41. For example, in the first detection method, a non-image area is detected by extracting a code in which the non-image area is described with image data in a predetermined format (for example, gif or png).
また、第２の検出手法では、例えば予め画像領域部分と非画像領域部分とを白黒等の２値データで区別した非画像領域パターンを形成し、このパターンを図７（Ｂ）に示すように非オブジェクト作成パターンとしてマークアップ記述情報等に記述しておく。そして、この非オブジェクト作成パターンとオブジェクトとを重ね合わせて非画像領域部分を検出する。なお、非画像領域の検出手法については、上述した手法に限定されるものではない。 In the second detection method, for example, a non-image area pattern in which an image area portion and a non-image area portion are previously distinguished by binary data such as black and white is formed, and this pattern is formed as shown in FIG. Described in the markup description information as a non-object creation pattern. Then, the non-image area portion is detected by superimposing the non-object creation pattern and the object. Note that the non-image region detection method is not limited to the above-described method.
また、第３実施形態における振動データ生成手段４２は、非画像領域検出手段４１で検出された非画像領域を除く表示領域に対して、触覚提示手段１７に設けられた刺激ピンを振動させるための振動データを生成する。なお、振動データ生成手段４２は、第１実施形態や第２実施形態と同様に触覚提示手段１７の刺激ピン数に合わせて画素落としをした後、振動優先制御手段３５において振動の優先制御を行う。 Further, the vibration data generation means 42 in the third embodiment is for causing the stimulation pin provided in the tactile sense presentation means 17 to vibrate with respect to the display area excluding the non-image area detected by the non-image area detection means 41. Generate vibration data. Note that the vibration data generation means 42 performs the priority control of vibration in the vibration priority control means 35 after dropping pixels according to the number of stimulation pins of the tactile sense presentation means 17 as in the first and second embodiments. .
また、振動優先制御手段３５は、上述した第２実施形態における優先制御の他に、非画像領域検出手段４１で検出された非画像領域に対して振動させるか否かを制御したり、矩形領域に含まれる非画像領域が他のオブジェクトの画像領域と重なる場合に、その重なり部分を振動させるか否かを制御する。 The vibration priority control means 35 controls whether to vibrate the non-image area detected by the non-image area detection means 41 in addition to the priority control in the second embodiment described above, When the non-image area included in the area overlaps with the image area of another object, it is controlled whether or not the overlapping portion is vibrated.
例えば、振動優先制御手段３５は、上述した第１の検出手法により非画像領域を検出した場合には、画像データのコードに対応して非画像領域を振動しないように制御する。また、振動優先制御手段３５は、上述した第２の検出手法により非画像領域を検出した場合には、図７（Ｂ）の（ｂ）に示す画像データのオブジェクトと、非画像領域検出手段４１から出力される図７（Ｂ）の（ｄ）に示す非オブジェクト作成パターンとを重ね合わせることで得られる非画像領域を振動しないように制御する。 For example, when the non-image area is detected by the first detection method described above, the vibration priority control unit 35 controls the non-image area so as not to vibrate corresponding to the code of the image data. When the vibration priority control means 35 detects the non-image area by the second detection method described above, the image data object shown in FIG. 7B and the non-image area detection means 41 are detected. The non-image area obtained by superimposing the non-object creation pattern shown in (d) of FIG.
また、図８に示すように、Ｏｂｊ１に対する矩形領域と、Ｏｂｊ２に対する矩形領域とが重なった場合、振動データ生成手段４２は、それぞれ非画像領域を除いたオブジェクト内の領域で振動させる周波数ｆａ、ｆｂの振動データを生成する。また、第３実施形態では、オブジェクト間で重なりのある場合の優先度を指定するタグ（例えば、上述した＜ｐｒｉｏｒｉｔｙ＞タグ等）を設け、振動データ生成手段４２は、そのタグ内に設定した値に基づいて優先させた振動データを生成してもよい。 Also, as shown in FIG. 8, when the rectangular area for Obj1 and the rectangular area for Obj2 overlap, the vibration data generating means 42 causes the frequencies fa and fb to vibrate in the areas in the object excluding the non-image areas, respectively. Generate vibration data. In the third embodiment, a tag (for example, the above-mentioned <priority> tag) for specifying the priority when there is an overlap between objects is provided, and the vibration data generating unit 42 sets a value set in the tag. Vibration data prioritized based on the above may be generated.
この場合、単にオブジェクトの優先度だけでは、例えば図８においてＯｂｊ１が優先だった場合に、Ｏｂｊ１の非画像領域でＯｂｊ２の画像部分を無振動にしてしまう。したがって、振動優先制御手段３５は、オブジェクト間の重なりの部分については、＜ｐｒｉｏｒｉｔｙ＞タグの優先度に加えて、非画像領域と重なりのあるオブジェクトに対する振動が優先させることで、触覚提示手段１７から適切な振動を提示することができる。 In this case, if only the priority of the object is given, for example, if Obj1 has priority in FIG. 8, the image portion of Obj2 is made non-vibrating in the non-image area of Obj1. Therefore, the vibration priority control unit 35 gives priority to the vibration for the object overlapping with the non-image area in addition to the priority of the <priority> tag for the overlapping portion between the objects. Appropriate vibration can be presented.
このように、第３実施形態では、マークアップ記述情報に含まれる画像データのオブジェクトに非画像領域が存在する場合に、非画像領域の振動を除去し、触覚提示手段１７で提示することで画像の存在する部分のみを適切に提示することができる。また、非画像領域と他の画像領域とで重なる場合には、優先度を設けて振動制御を行うことで、コンテンツの重要な領域を触覚で迅速に伝達することができる。上述した第１〜第３実施形態は、複数の実施形態を適宜組み合わせることができる。 As described above, in the third embodiment, when a non-image area exists in the object of the image data included in the markup description information, the vibration of the non-image area is removed and the tactile sense providing unit 17 presents the image. It is possible to appropriately present only the portion where the. In addition, when the non-image area overlaps with another image area, the priority area is provided and vibration control is performed, so that an important area of the content can be quickly transmitted by touch. The first to third embodiments described above can be appropriately combined with a plurality of embodiments.
＜実行プログラム（触覚提示制御プログラム）＞
ここで、上述した触覚提示制御装置１０，３０，４０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示手段、並びに外部と通信するためのインタフェース等を備えたコンピュータによって構成することができる。
<Execution program (tactile presentation control program)>
Here, the haptic presentation control devices 10, 30, and 40 described above include, for example, a volatile storage medium such as a CPU (Central Processing Unit) and a RAM (Random Access Memory), and a nonvolatile storage such as a ROM (Read Only Memory). It can be configured by a computer provided with a medium, an input device such as a mouse, a keyboard, and a pointing device, a display means for displaying images and data, and an interface for communicating with the outside.
したがって、触覚提示制御装置１０，３０，４０が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることにより、それぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。 Therefore, the above-described functions of the tactile sense presentation control devices 10, 30, and 40 can be realized by causing the CPU to execute a program describing these functions. These programs can also be stored and distributed in a recording medium such as a magnetic disk (floppy disk, hard disk, etc.), optical disk (CD-ROM, DVD, etc.), semiconductor memory, or the like.
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（触覚提示制御プログラム）を生成し、例えば汎用のＰＣ等にそのプログラムをインストールすることにより、上述した触覚提示制御処理を実現することができる。 That is, an execution program (tactile presentation control program) for causing a computer to execute the processing in each configuration described above is generated, and the program is installed in, for example, a general-purpose PC, thereby realizing the above-described tactile presentation control process. be able to.
＜触覚提示制御処理の一例＞
ここで、触覚提示制御処理の一例について、フローチャートを用いて説明する。図９は、触覚提示制御処理の一例を示すフローチャートである。
<Example of tactile sense presentation control processing>
Here, an example of the tactile sense presentation control process will be described using a flowchart. FIG. 9 is a flowchart illustrating an example of the tactile sense presentation control process.
図９の例における触覚提示制御処理において、画像データ取得手段１１は、入力されるコンテンツに含まれる画像データを取得する（Ｓ０１）。また、色領域検出手段１３は、画像データに含まれる色領域を検出する（Ｓ０２）。なお、Ｓ０２の処理では、例えば色相環図２１等を用いた画素毎の色相解析等により、色相の異なる領域を検出することができるが、これに限定されるものではない。 In the tactile sense presentation control process in the example of FIG. 9, the image data acquisition unit 11 acquires image data included in the input content (S01). Further, the color area detection means 13 detects a color area included in the image data (S02). In the process of S02, areas having different hues can be detected by, for example, hue analysis for each pixel using the hue circle diagram 21 or the like, but the present invention is not limited to this.
次に、データ変換手段１４は、Ｓ０２の処理で得られた色相情報から振動情報へ変換する（Ｓ０３）。Ｓ０３の処理で変換された振動情報は、上述したように色相データの下位ビットに含ませることができる。次に、振動データ生成手段１５は、触覚提示手段１７の刺激ピンの配列に対応させて画素と刺激ピンとの画素落としを行い、対応する刺激ピンを駆動させるための振動データを生成する（Ｓ０４）。 Next, the data conversion means 14 converts the hue information obtained by the process of S02 into vibration information (S03). The vibration information converted by the process of S03 can be included in the lower bits of the hue data as described above. Next, the vibration data generation means 15 performs pixel dropping of the pixels and the stimulation pins in correspondence with the arrangement of the stimulation pins of the tactile sense presentation means 17, and generates vibration data for driving the corresponding stimulation pins (S04). .
また、触覚提示手段１７は、振動データ生成手段１５から得られる振動データに基づいて、刺激ピンの所定位置に所定の振動を与えて触覚による提示を行う（Ｓ０５）。 Further, the tactile sense presenting means 17 gives a predetermined vibration to a predetermined position of the stimulation pin based on the vibration data obtained from the vibration data generating means 15 and presents by tactile sense (S05).
ここで、触覚提示制御処理では、Ｓ０１の処理で入力されたコンテンツを表示手段１７に表示するか否かを判断し（Ｓ０６）、表示する場合（Ｓ０６において、ＹＥＳ）、表示手段１７にコンテンツを表示する（Ｓ０７）。なお、Ｓ０７の処理において、コンテンツに含まれる画像データに対応する色相データは、振動情報を含む色相データを用いることができる。つまり、色相データを用いて触覚提示手段１７により提示されるオブジェクト毎の振動や表示手段１７に表示されるコンテンツの色情報を制御することができる。Ｓ０７の処理後、又は、Ｓ０６の処理において表示手段１７に表示しない場合（Ｓ０６において、ＮＯ）、処理を終了する。 Here, in the tactile sense presentation control process, it is determined whether or not the content input in the process of S01 is displayed on the display means 17 (S06). When displaying (YES in S06), the content is displayed on the display means 17. It is displayed (S07). In the process of S07, hue data including vibration information can be used as the hue data corresponding to the image data included in the content. That is, it is possible to control the vibration for each object presented by the tactile sense presenting means 17 and the color information of the content displayed on the display means 17 using the hue data. After the process of S07 or when not displayed on the display means 17 in the process of S06 (NO in S06), the process is terminated.
なお、上述したＳ０５の処理では、上述した第２実施形態に示すように、入力したコンテンツに対応するマークアップ記述情報に含まれるオブジェクトに対して振動条件が設定されている場合に、予め設定された優先条件に基づいて振動制御を行い、触覚提示手段１７による提示を行ってもよい。 In the process of S05 described above, as shown in the second embodiment described above, the vibration condition is set in advance when the vibration condition is set for the object included in the markup description information corresponding to the input content. Alternatively, vibration control may be performed based on the priority condition, and presentation by the tactile sense presentation unit 17 may be performed.
更に、上述したＳ０４の処理では、上述した第３実施形態に示すように、非画像領域を検出し、Ｓ０５の処理では、あるオブジェクトの画像領域が、他のオブジェクトの非画像領域と重なる場合に、予め設定された優先条件に基づいて振動制御を行い、触覚提示手段１７による提示を行ってもよい。 Further, in the above-described processing of S04, as shown in the above-described third embodiment, a non-image area is detected, and in the processing of S05, when an image area of a certain object overlaps with a non-image area of another object. Alternatively, vibration control may be performed based on preset priority conditions, and presentation by the tactile sense presenting means 17 may be performed.
上述した本実施形態によれば、提示するオブジェクトに対するユーザの認識精度を向上させることができる。また、ユーザに迅速で確実にオブジェクトを認識させることができる。例えば、コンテンツに含まれる画像データに対し、色情報毎に異なる振動に変換することにより、触覚で一瞥的に地図やグラフ等の位置情報や重要な領域の内容を迅速かつ適切に伝達することができ、より効果的な２次元情報の提示が可能となる。 According to the above-described embodiment, the user's recognition accuracy for the object to be presented can be improved. In addition, the user can recognize the object quickly and reliably. For example, by converting the image data contained in the content into vibrations that differ for each color information, it is possible to quickly and appropriately transmit the position information such as maps and graphs and the contents of important areas all at once by touch. It is possible to present more effective two-dimensional information.
また、本実施形態によれば、画像データとマークアップ記述情報に含まれるオブジェクトとが混在する場合に、両者の優先度に応じて振動提示する領域を決定して振動に変換することで、ユーザに迅速かつ適切にオブジェクトを認識させることができる。また、本実施形態によれば、画像データのオブジェクトに非画像領域が存在する場合に、非画像領域の部分を除く領域を振動に変換して触覚ディスプレイに提示することで、触覚で一瞥的に地図やグラフ等の位置情報や重要な領域の内容を迅速かつ適切に伝達することができ、効果的な２次元情報の提示が可能となる。 Further, according to the present embodiment, when image data and an object included in markup description information are mixed, a region to be presented with vibration is determined according to the priority of both and converted into vibration, whereby the user Can quickly and properly recognize objects. Further, according to the present embodiment, when a non-image region exists in the object of the image data, the region excluding the non-image region part is converted into vibration and presented on the tactile display, so that the tactile sense can be used as a whole. Position information such as maps and graphs and contents of important areas can be transmitted quickly and appropriately, and effective two-dimensional information can be presented.
以上、本実施形態について詳述したが、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。 Although the present embodiment has been described in detail above, the present invention is not limited to the specific embodiment, and various modifications and changes other than the above-described modifications are possible within the scope described in the claims. .
１０，３０，４０ 触覚提示制御装置
１１ 画像データ取得手段
１２ 記憶手段
１３ 色領域検出手段
１４ データ変換手段
１５，３４，４２ 振動データ生成手段（刺激情報生成手段）
１６ 表示手段
１７ 触覚提示手段
２１ 色相環図
２２ 色相−振動変換テーブル
３１ オブジェクト抽出手段
３２ レイアウト生成手段
３３ 振動オブジェクト抽出手段
３５ 振動優先制御手段（刺激優先度制御手段）
４１ 非画像領域検出手段（非オブジェクト領域検出手段）
10, 30, 40 Tactile sense presentation control device 11 Image data acquisition means 12 Storage means 13 Color region detection means 14 Data conversion means 15, 34, 42 Vibration data generation means (stimulus information generation means)
16 Display means 17 Tactile sense presentation means 21 Hue ring diagram 22 Hue-vibration conversion table 31 Object extraction means 32 Layout generation means 33 Vibration object extraction means 35 Vibration priority control means (stimulus priority control means)
41 Non-image area detection means (non-object area detection means)
Claims (9)
前記コンテンツに含まれる画像データのオブジェクトから異なる色領域を検出する色領域検出手段と、
前記色領域検出手段により得られる各色情報に対応する刺激種別を設定し、設定した刺激種別を、前記色情報に含めてデータ変換を行うデータ変換手段と、
前記データ変換手段により得られる変換された色情報から前記刺激種別を抽出し、抽出した刺激種別に対応して前記触覚提示手段の刺激ピンを駆動させるための刺激データを生成する刺激情報生成手段とを有することを特徴とする触覚提示制御装置。 In a tactile sensation presentation control device that causes a user to be stimulated by tactile sensation presentation means in which a plurality of stimulation pins are arranged to recognize content by tactile sensation,
Color area detecting means for detecting different color areas from the object of the image data included in the content;
A data conversion unit that sets a stimulus type corresponding to each color information obtained by the color area detection unit, includes the set stimulus type in the color information, and performs data conversion;
Stimulus information generating means for extracting the stimulus type from the converted color information obtained by the data converting means and generating stimulus data for driving the stimulus pin of the tactile sense presenting means corresponding to the extracted stimulus type; A tactile sense presentation control device characterized by comprising:
前記色情報のデータ長のうち、所定数の下位ビットを前記刺激情報に置き換えることを特徴とする請求項１に記載の触覚提示制御装置。 The data conversion means includes
The tactile sensation presentation control apparatus according to claim 1, wherein a predetermined number of lower bits of the data length of the color information are replaced with the stimulus information.
前記色情報を用いて前記画像データを画面に表示する場合に、前記刺激情報に置き換えた前記下位ビットを中間値に補正することを特徴とする請求項２に記載の触覚提示制御装置。 The data conversion means includes
The tactile sense presentation control device according to claim 2, wherein when the image data is displayed on a screen using the color information, the lower bit replaced with the stimulus information is corrected to an intermediate value.
前記色情報に応じた刺激情報と、前記オブジェクト抽出手段により得られるオブジェクト単位の刺激情報との優先度を制御する刺激優先度制御手段とを有することを特徴とする請求項１乃至３の何れか１項に記載の触覚提示制御装置。 Object extraction means for extracting an object included in markup description information corresponding to the content;
The stimulation priority control means for controlling the priority of the stimulation information corresponding to the color information and the stimulation information for each object obtained by the object extraction means. The tactile sense presentation control apparatus according to item 1.
前記刺激優先度制御手段は、前記タグに設定された優先度により前記刺激種別を決定することを特徴とする請求項４に記載の触覚提示制御装置。 A tag that describes the priority of the stimulus information in the markup description information;
5. The tactile sense presentation control apparatus according to claim 4, wherein the stimulus priority control means determines the stimulus type according to the priority set in the tag.
前記刺激優先度制御手段は、前記非画像領域では刺激を提示しないよう制御する手段を有することを特徴とする請求項４又は５に記載の触覚提示制御装置。 Non-image area detecting means for detecting a non-image area that is an area other than image data among rectangular areas including objects,
6. The tactile sense presentation control apparatus according to claim 4, wherein the stimulus priority control means includes means for controlling so as not to present a stimulus in the non-image area.
前記非画像領域と、前記マークアップ記述情報に含まれるオブジェクト領域とが重なる場合に、前記オブジェクト領域に対して前記マークアップ記述情報に含まれる刺激情報を優先することを特徴とする請求項６に記載の触覚提示制御装置。 The stimulus priority control means includes
7. The stimulus information included in the markup description information is prioritized over the object region when the non-image area overlaps with an object area included in the markup description information. The tactile sense presentation control device described.
前記コンピュータを、
前記コンテンツに含まれる画像データのオブジェクトから異なる色領域を検出する色領域検出手段、
前記色領域検出手段により得られる各色情報に対応する刺激種別を設定し、設定した刺激種別を、前記色情報に含めてデータ変換を行うデータ変換手段、及び、
前記データ変換手段により得られる変換された色情報から前記刺激種別を抽出し、抽出した刺激種別に対応して前記触覚提示手段の刺激ピンを駆動させるための刺激データを生成する刺激情報生成手段として機能させるための触覚提示制御プログラム。 In a haptic presentation control program for causing a computer to execute a haptic presentation control process in which a user is stimulated by a tactile presentation means in which a plurality of stimulation pins are arranged and content is recognized by a tactile sense.
The computer,
Color area detecting means for detecting a different color area from an object of image data included in the content;
A data conversion unit that sets a stimulus type corresponding to each color information obtained by the color region detection unit, includes the set stimulus type in the color information, and performs data conversion; and
As stimulus information generation means for extracting the stimulus type from the converted color information obtained by the data conversion means and generating stimulus data for driving the stimulus pin of the tactile sense presenting means corresponding to the extracted stimulus type Tactile presentation control program for functioning.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013014720A JP6063274B2 (en) | 2013-01-29 | 2013-01-29 | Tactile presentation control device and tactile presentation control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013014720A JP6063274B2 (en) | 2013-01-29 | 2013-01-29 | Tactile presentation control device and tactile presentation control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014146194A true JP2014146194A (en) | 2014-08-14 |
| JP6063274B2 JP6063274B2 (en) | 2017-01-18 |
Family
ID=51426407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013014720A Expired - Fee Related JP6063274B2 (en) | 2013-01-29 | 2013-01-29 | Tactile presentation control device and tactile presentation control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6063274B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019102018A (en) * | 2017-12-08 | 2019-06-24 | 富士ゼロックス株式会社 | Information processing apparatus and program |
| WO2020129395A1 (en) * | 2018-12-20 | 2020-06-25 | Ｎｅｃプラットフォームズ株式会社 | Display apparatus and display method |
| KR20210073307A (en) * | 2019-12-10 | 2021-06-18 | 성균관대학교산학협력단 | Color-Tactile_Pattern Transformation System for Color Recognition and Method Using the Same |
| KR20210083083A (en) * | 2019-12-26 | 2021-07-06 | 한국전자통신연구원 | Apparatus and method for sensory substitution |
| KR20220132832A (en) * | 2021-03-24 | 2022-10-04 | 동의대학교 산학협력단 | Method for expression of color information using tactile patterns |
| KR20220132837A (en) * | 2021-03-24 | 2022-10-04 | 동의대학교 산학협력단 | Method for converting color information into tactile patterns |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002268791A (en) * | 2001-02-03 | 2002-09-20 | Internatl Business Mach Corp <Ibm> | Visually independent user interface device |
| JP2009140105A (en) * | 2007-12-04 | 2009-06-25 | Nippon Hoso Kyokai <Nhk> | Tactile sense presentation device and tactile sense presentation method |
| JP2009205461A (en) * | 2008-02-28 | 2009-09-10 | Nippon Hoso Kyokai <Nhk> | Tactile sense information display device |
| JP2011040067A (en) * | 2009-08-10 | 2011-02-24 | Korea Electronics Telecommun | Method of encoding haptic information on image, method of decoding haptic information from image, and apparatus of processing haptic information for the same |
-
2013
- 2013-01-29 JP JP2013014720A patent/JP6063274B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002268791A (en) * | 2001-02-03 | 2002-09-20 | Internatl Business Mach Corp <Ibm> | Visually independent user interface device |
| JP2009140105A (en) * | 2007-12-04 | 2009-06-25 | Nippon Hoso Kyokai <Nhk> | Tactile sense presentation device and tactile sense presentation method |
| JP2009205461A (en) * | 2008-02-28 | 2009-09-10 | Nippon Hoso Kyokai <Nhk> | Tactile sense information display device |
| JP2011040067A (en) * | 2009-08-10 | 2011-02-24 | Korea Electronics Telecommun | Method of encoding haptic information on image, method of decoding haptic information from image, and apparatus of processing haptic information for the same |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019102018A (en) * | 2017-12-08 | 2019-06-24 | 富士ゼロックス株式会社 | Information processing apparatus and program |
| JP7087367B2 (en) | 2017-12-08 | 2022-06-21 | 富士フイルムビジネスイノベーション株式会社 | Information processing equipment, programs and control methods |
| WO2020129395A1 (en) * | 2018-12-20 | 2020-06-25 | Ｎｅｃプラットフォームズ株式会社 | Display apparatus and display method |
| JP2020101637A (en) * | 2018-12-20 | 2020-07-02 | Ｎｅｃプラットフォームズ株式会社 | Display unit and display method |
| KR20210073307A (en) * | 2019-12-10 | 2021-06-18 | 성균관대학교산학협력단 | Color-Tactile_Pattern Transformation System for Color Recognition and Method Using the Same |
| KR102336051B1 (en) * | 2019-12-10 | 2021-12-06 | 성균관대학교산학협력단 | Color-Tactile_Pattern Transformation System for Color Recognition and Method Using the Same |
| KR20210083083A (en) * | 2019-12-26 | 2021-07-06 | 한국전자통신연구원 | Apparatus and method for sensory substitution |
| KR102490536B1 (en) * | 2019-12-26 | 2023-01-20 | 한국전자통신연구원 | Apparatus and method for sensory substitution |
| KR20220132832A (en) * | 2021-03-24 | 2022-10-04 | 동의대학교 산학협력단 | Method for expression of color information using tactile patterns |
| KR20220132837A (en) * | 2021-03-24 | 2022-10-04 | 동의대학교 산학협력단 | Method for converting color information into tactile patterns |
| KR102529727B1 (en) | 2021-03-24 | 2023-05-04 | 동의대학교 산학협력단 | Method for expression of color information using tactile patterns |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6063274B2 (en) | 2017-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6063274B2 (en) | Tactile presentation control device and tactile presentation control program | |
| JP5809079B2 (en) | Electronic device and control method of electronic device | |
| US8573979B2 (en) | Tactile display to allow sight impaired to feel visual information including color | |
| US10628121B2 (en) | Electronic device and method for controlling the same | |
| JP2019109562A (en) | Form type learning system and image processing apparatus | |
| CN103761062B (en) | A kind of method at the corresponding material of two-dimension code area display and mobile terminal | |
| JP6841519B2 (en) | Methods and Electronic Devices for Creating Digital Signatures | |
| US11269950B2 (en) | Analysis for framework assessment | |
| JP4972011B2 (en) | Tactile presentation device and tactile presentation method | |
| JPWO2015159602A1 (en) | Information provision device | |
| US10558745B2 (en) | Information processing apparatus and non-transitory computer readable medium | |
| WO2021023085A1 (en) | Watermark adding method and apparatus, watermark recognition method and apparatus, and electronic device | |
| JP5787644B2 (en) | Image processing apparatus and image processing apparatus control method | |
| JP2015135596A (en) | Information processing apparatus and information processing program | |
| JP5598981B2 (en) | Perceptual stimulus information generation system | |
| JP2009140105A (en) | Tactile sense presentation device and tactile sense presentation method | |
| JP2009204710A (en) | Tactile presentation apparatus and tactile presentation method | |
| JP2016091253A (en) | Display control program, display control method, and information processor | |
| US20170262141A1 (en) | Information processing apparatus, information processing method and non-transitory computer readable medium | |
| US20180196937A1 (en) | Electronic device and method of controlling same | |
| JP6070829B2 (en) | Display control apparatus, information processing apparatus, display control method, display control program, and information processing system | |
| CN113934340B (en) | Terminal equipment and progress bar display method | |
| US20140292793A1 (en) | Image processing method and image display device | |
| JP2022095024A (en) | Learning data generating apparatus, learning data generating method, and computer program | |
| CN118296645A (en) | Information sharing method, electronic device and readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161031 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161216 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6063274 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |