JP7087367B2 - 情報処理装置、プログラム及び制御方法 - Google Patents

情報処理装置、プログラム及び制御方法 Download PDF

Info

Publication number
JP7087367B2
JP7087367B2 JP2017235821A JP2017235821A JP7087367B2 JP 7087367 B2 JP7087367 B2 JP 7087367B2 JP 2017235821 A JP2017235821 A JP 2017235821A JP 2017235821 A JP2017235821 A JP 2017235821A JP 7087367 B2 JP7087367 B2 JP 7087367B2
Authority
JP
Japan
Prior art keywords
image
texture
attributes
original image
tactile sensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017235821A
Other languages
English (en)
Other versions
JP2019102018A (ja
Inventor
賢吾 得地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2017235821A priority Critical patent/JP7087367B2/ja
Priority to US16/059,058 priority patent/US10762670B2/en
Publication of JP2019102018A publication Critical patent/JP2019102018A/ja
Application granted granted Critical
Publication of JP7087367B2 publication Critical patent/JP7087367B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatuses For Generation Of Mechanical Vibrations (AREA)

Description

本発明は、情報処理装置及びプログラムに関する。
ディスプレイに質感や触感を反映させる技術が知られている。
特許文献１，２には、表示部の操作面に振動を発生させる振動素子を有する装置が記載されている。
特許文献３，４には、印刷データから、印刷物における印刷表面の質感を表す質感情報データを取得して出力する装置が記載されている。
特許文献５には、肌の質感に対応するＣＧモデルを生成し、そのＣＧモデルのレンダリングパラメータを用いて質感パラメータを抽出し、その質感パラメータによって肌の質感を定量化する装置が記載されている。
特許第５７８０３６８号公報 特開２０１６－１３３９０６号公報 特開２０１０－１１４５０６号公報 特開２０１０－１５２５３３号公報 特開２０１４－２６３９１号公報
本発明の目的は、元画像を対象物に反映させたときの質感と触感を提供することにある。
請求項１に記載の発明は、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段を有し、前記制御手段は、表示手段に表示されている前記画像に表されている物体の動きに応じて、前記質感と前記触感を変更する、情報処理装置である。
請求項２に記載の発明は、前記画像が表示される画面に振動を与える振動手段を更に有し、前記制御手段は、前記振動手段による振動を制御することで前記触感を制御する、ことを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記制御手段は、前記振動手段による振動の周波数及び振幅の中の少なくとも１つを制御する、ことを特徴とする請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記制御手段は、前記画像に表されている物体の凹凸に応じて、前記質感と前記触感を変更する、ことを特徴とする請求項１から請求項３何れかに記載の情報処理装置である。
請求項５に記載の発明は、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段を有し、前記制御手段は、前記画像に表されている物体の凹凸に応じて、前記質感と前記触感を変更する、情報処理装置である。
請求項６に記載の発明は、前記制御手段は、表示手段に表示されている前記画像の表示箇所に印加された圧力に応じて、前記質感と前記触感を変更する、ことを特徴とする請求項１から請求項５何れかに記載の情報処理装置である。
請求項７に記載の発明は、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段を有し、前記制御手段は、表示手段に表示されている前記画像の表示箇所に印加された圧力に応じて、前記質感と前記触感を変更する、情報処理装置である。
請求項８に記載の発明は、前記制御手段は、前記画像に表されている物体への光の照射状態に応じて、前記質感と前記触感を変更する、ことを特徴とする請求項１から請求項７何れかに記載の情報処理装置である。
請求項９に記載の発明は、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段を有し、前記制御手段は、前記画像に表されている物体への光の照射状態に応じて、前記質感と前記触感を変更する、情報処理装置である。
請求項１０に記載の発明は、前記制御手段は、色彩を制御することで前記質感を制御する、ことを特徴とする請求項１から請求項９何れかに記載の情報処理装置である。
請求項１１に記載の発明は、前記制御手段は、前記対象物への前記元画像の反映の仕様に応じて、前記質感と前記触感を変更する、ことを特徴とする請求項１から請求項１０何れかに記載の情報処理装置である。
請求項１２に記載の発明は、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段を有し、前記制御手段は、前記対象物への前記元画像の反映の仕様に応じて、前記質感と前記触感を変更する、情報処理装置である。
請求項１３に記載の発明は、前記対象物において前記元画像が反映される位置に応じて、前記反映の仕様が変更される、ことを特徴とする請求項１１又は請求項１２に記載の情報処理装置である。
請求項１４に記載の発明は、前記元画像の属性に適合する前記対象物を提供する提供手段を更に有する、ことを特徴とする請求項１から請求項１３何れかに記載の情報処理装置である。
請求項１５に記載の発明は、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段と、前記元画像の属性に適合する前記対象物を提供する提供手段と、を有する情報処理装置である。
請求項１６に記載の発明は、前記制御手段は、更に、自装置が設置されている環境に応じて、前記質感と前記触感を変更する、ことを特徴とする請求項１から請求項１５何れかに記載の情報処理装置である。
請求項１７に記載の発明は、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段を有し、前記制御手段は、更に、自装置が設置されている環境に応じて、前記質感と前記触感を変更する、情報処理装置である。
請求項１８に記載の発明は、前記制御手段は、前記画像が表示されている表示手段に対する、前記画像に表されている物体の奥行きの程度に応じて、前記質感と前記触感を変更する、ことを特徴とする請求項１から請求項１７何れかに記載の情報処理装置である。
請求項１９に記載の発明は、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段を有し、前記制御手段は、前記画像が表示されている表示手段に対する、前記画像に表されている物体の奥行きの程度に応じて、前記質感と前記触感を変更する、情報処理装置である。
請求項２０に記載の発明は、コンピュータを、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段、として機能させ、前記制御手段は、表示手段に表示されている前記画像に表されている物体の動きに応じて、前記質感と前記触感を変更する、プログラムである。
請求項２１に記載の発明は、コンピュータを、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段、として機能させ、前記制御手段は、前記画像に表されている物体の凹凸に応じて、前記質感と前記触感を変更する、プログラムである。
請求項２２に記載の発明は、コンピュータを、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段、として機能させ、前記制御手段は、表示手段に表示されている前記画像の表示箇所に印加された圧力に応じて、前記質感と前記触感を変更する、プログラムである。
請求項２３に記載の発明は、コンピュータを、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段、として機能させ、前記制御手段は、前記画像に表されている物体への光の照射状態に応じて、前記質感と前記触感を変更する、プログラムである。
請求項２４に記載の発明は、コンピュータを、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段、として機能させ、前記制御手段は、前記対象物への前記元画像の反映の仕様に応じて、前記質感と前記触感を変更する、プログラムである。
請求項２５に記載の発明は、コンピュータを、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段、前記元画像の属性に適合する前記対象物を提供する提供手段、として機能させるプログラムである。
請求項２６に記載の発明は、コンピュータを、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段、として機能させ、前記制御手段は、更に、自装置が設置されている環境に応じて、前記質感と前記触感を変更する、プログラムである。
請求項２７に記載の発明は、コンピュータを、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段、として機能させ、前記制御手段は、前記画像が表示されている表示手段に対する、前記画像に表されている物体の奥行きの程度に応じて、前記質感と前記触感を変更する、プログラムである。
請求項２８に記載の発明は、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御することを含み、前記制御においては、表示手段に表示されている前記画像に表されている物体の動きに応じて、前記質感と前記触感を変更する、制御方法である。
請求項２９に記載の発明は、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御することを含み、前記制御においては、前記画像に表されている物体の凹凸に応じて、前記質感と前記触感を変更する、制御方法である。
請求項３０に記載の発明は、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御することを含み、前記制御においては、表示手段に表示されている前記画像の表示箇所に印加された圧力に応じて、前記質感と前記触感を変更する、制御方法である。
請求項３１に記載の発明は、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御することを含み、前記制御においては、前記画像に表されている物体への光の照射状態に応じて、前記質感と前記触感を変更する、制御方法である。
請求項３２に記載の発明は、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御することを含み、前記制御においては、前記対象物への前記元画像の反映の仕様に応じて、前記質感と前記触感を変更する、制御方法である。
請求項３３に記載の発明は、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御し、前記元画像の属性に適合する前記対象物を提供する、制御方法である。
請求項３４に記載の発明は、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御することを含み、前記制御においては、更に、自装置が設置されている環境に応じて、前記質感と前記触感を変更する、制御方法である。
請求項３５に記載の発明は、元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御することを含み、前記制御においては、前記画像が表示されている表示手段に対する、前記画像に表されている物体の奥行きの程度に応じて、前記質感と前記触感を変更する、制御方法である。
請求項１，２０，２８に記載の発明によれば、元画像を対象物に反映させたときの質感と触感が提供される。
請求項２，３に記載の発明によれば、画面の振動によって触感が実現される。
請求項１，２０，２８に記載の発明によれば、画像に表されている物体の動きに応じた質感と触感が提供される。
請求項４，５，２１，２９に記載の発明によれば、画像に表されている物体の凹凸に応じた質感と触感が提供される。
請求項６，７，２２，３０に記載の発明によれば、画像の表示箇所に印加された圧力に応じた質感と触感が提供される。
請求項８，９，２３，３１に記載の発明によれば、光の照射状態に応じた質感と触感が提供される。
請求項１０に記載の発明によれば、色によって質感が制御される。
請求項１１，１２，１３，２４，３２に記載の発明によれば、反映の仕様に応じた質感と触感が提供される。
請求項１４，１５，２５，３３に記載の発明によれば、元画像の属性に適合する対象物が提供される。
請求項１６，１７，２６，３４に記載の発明によれば、環境に応じた質感と触感が提供される。
請求項１８，１９，２７，３５に記載の発明によれば、奥行きの程度に応じた触感が提供される。
本発明の実施形態に係る端末装置の構成を示すブロック図である。 元画像を図である。 元画像の属性情報を示す図である。 対象物を示す図である。 対象物の属性情報を示す図である。 合成画像を示す図である。 合成画像の属性情報を示す図である。 合成画像の属性情報を示す図である。 合成画像を示す図である。 合成画像の属性情報を示す図である。 合成画像を示す図である。 変形例に係る端末装置の構成を示すブロック図である。 対象物の属性情報を示す図である。 対象物の属性情報を示す図である。 画像を示す図である。
以下、本実施形態に係る情報処理装置の一例としての端末装置について説明する。図１には、本実施形態に係る端末装置の一例が示されている。
端末装置１０は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、スマートフォン、携帯電話、等の装置である。端末装置１０は、ウェアラブル端末（腕時計型端末、リストバンド型端末、眼鏡型端末、指輪型端末、コンタクトレンズ型端末、体内埋め込み型端末、ヒアラブル端末等）であってもよい。また、端末装置１０は、表示装置としてフレキシブルディスプレイを有していてもよい。フレキシブルディスプレイとして、例えば、有機エレクトロルミネッセンス型のディスプレイ（フレキシブル有機ＥＬディスプレイ）、電子ペーパー型のディスプレイ、フレキシブル液晶ディスプレイ、等が用いられる。これら以外の表示方式が採用されたフレキシブルディスプレイが用いられてもよい。フレキシブルディスプレイは、表示部分が柔軟に変形可能なディスプレイであり、例えば、曲げたり、折り畳んだり、巻いたり、捩ったり、伸ばしたりすることが可能なディスプレイである。端末装置１０全体がフレキシブルディスプレイによって構成されていてもよいし、フレキシブルディスプレイとそれ以外の構成とが機能的又は物理的に分かれていてもよい。
以下、図１を参照して、端末装置１０の構成について詳しく説明する。
通信部１２は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部１２は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。通信部１２は、１又は複数の通信規格（方式）に対応している。通信部１２は、通信相手に適した通信規格（つまり、通信相手が対応している通信規格）に従って通信相手と通信してもよい。通信規格（方式）は、例えば、赤外線通信、可視光通信、Ｗｉ－Ｆｉ（登録商標）通信、近接無線通信（例えばＮＦＣ（Near Field Communication）等）、等である。近接無線通信としては、Ｆｅｌｉｃａ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）、ＲＦＩＤ（Radio Frequency Identifier）等が用いられる。もちろん、別の方式の無線規格が近接無線通信として用いられてもよい。通信部１２は、通信相手に応じて通信規格や周波数帯域を切り替えてもよいし、周囲の環境に応じて通信規格や周波数帯域を切り替えてもよい。
ＵＩ部１４はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。表示部は、フレキシブルディスプレイであってもよい。操作部は、例えばタッチパネルやキーボード等の入力装置である。表示部と操作部を兼ねたユーザインターフェース（例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む）であってもよい。タッチパネルとして、例えば、静電容量方式や抵抗膜方式等のタッチパネルが用いられる。もちろん、これら以外のタッチパネルが用いられてもよい。また、ＵＩ部１４は、マイク等の集音部やスピーカ等の音声発生部を含んでいてもよい。この場合、音声によって情報が端末装置１０に入力されてもよいし、情報が音声として発せられてもよい。
振動部１６は、ＵＩ部１４の表示部に接触して設けられ、表示部の表面に振動を与える機能を有する。振動部１６は、表面の全部に同一の振動を与えてもよいし、表面の部分毎に異なる振動を与えてもよい。振動部１６は、例えば、超音波帯（例えば２０ｋＨｚ以上の音波帯）の振動を発生させる振動素子である。そのような振動素子として、例えば、ピエゾ素子等の圧電素子が用いられる。もちろん、振動部１６は、超音波帯以外の帯域の振動を発生させる振動素子であってもよいし、圧電素子以外の振動素子が用いられてもよい。振動部１６が駆動することで、表示部の表面が振動する。これにより、触感フィードバック（触覚フィードバック）が実現される。つまり、表示部に表示されている物体の材質や触感が表示部の表面に反映され、ユーザに質感や触感（触覚）が提供される。部分毎に異なる振動を与えることで、部分毎に異なる質感や触感が実現されてもよい。より詳しく説明すると、表示部の表面を振動させることで、表示部の表面の摩擦抵抗が変化し、これにより、質感や触感が実現される。振動の周波数や振幅を制御したり、振動のオン及びオフを制御したりすることで、摩擦抵抗を変化させることができる。例えば、表示部の表面に、低摩擦領域を形成したり、高摩擦領域を形成したり、低摩擦領域と高摩擦領域の両方を形成したりすることで、当該表面に、ツルツル感、ザラザラ感、凹凸感等を実現することができる。例えば、低摩擦領域を形成することでツルツル感が実現され、高摩擦領域を形成することでザラザラ感が実現され、低摩擦領域と高摩擦領域を交互に配置することで凹凸感が実現される。振動部１６は、後述する振動制御部２８から出力される駆動信号によって駆動させられる。振動部１６が発生する振動の周波数及び振幅は、駆動信号によって定められる。周波数や振幅を変えることで、質感や触感が変更される。
質感は、例えば、物体を構成する材料が与える視覚的な感覚や触覚的な感覚である。触感（触覚）は、例えば、人が物体に触れたときに受ける感触である。質感と触感は、互いに排他的な関係を有する概念ではなく、質感の概念と触感の概念とが部分的に重なっていてもよいし、質感の概念と触感の概念とが全く重ならなくてもよい。質感や触感としては、例えば、ザラザラ感、ツルツル感、メタリック感、凹凸感等が挙げられる。画面上での質感や触感は、画面の振動、画像の色彩、等によって実現され、振動や色彩が変更されることで、異なる質感や触感を実現される。
記憶部１８はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部１８には、例えば、各種のデータ、各種のプログラム（例えば、ＯＳ（Operating System）、各種のアプリケーションプログラム（アプリケーションソフトウェア）等）等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、１つの記憶装置に記憶されてもよい。
検知部２０は、表示部の各位置の変化を検知する機能を有する。検知部２０は、例えば、圧力センサ、温度センサ、湿度センサ、加速度センサ、ジャイロセンサ、等のセンサである。検知部２０は、例えば、表示部（例えば、タッチパネルやフレキシブルディスプレイ）の部分毎（例えば画素毎）の圧力の変化、静電容量の変化、曲げ変化、光学特性の変化、湿度、温度、加速度、向き、等を検知する。なお、端末装置１０以外の装置や場所に設けられたセンサによって、上記の変化や値が検知されてもよい。
画像合成部２２は、元画像と対象物を表す画像とを合成することで、合成画像を生成する機能を有する。以下、対象物を表す画像を「対象物画像」と称することとする。対象物は、元画像が反映される有体物である。換言すると、元画像は、有体物としての対象物に反映される画像である。元画像、対象物画像及び合成画像は、静止画像であってもよいし、動画像であってもよいし、２次元画像であってもよいし、３次元画像であってもよいし、空間に形成される立体画像であってもよい。対象物は、有体物であれば特に限定されるものではなく、例えば、衣服、食器、家電、食品、文房具、玩具、書籍、家具等、あらゆる有体物が対象物として扱われてもよい。反映とは、例えば、対象物の属性によって元画像の属性が補正された状態で、元画像が対象物に形成されることや、元画像の属性が補正されずに、元画像が対象物に形成されること、等である。具体的には、反映とは、元画像が対象物に印刷されることである。もちろん、印刷以外の技術によって、元画像が対象物に形成されてもよい。合成画像は、このようにして元画像が対象物に反映された状態を表す画像である。属性は、色、質感、その質感を表す値（質感画像補正値）、触感を実現するための振動条件（例えば、周波数や振幅等）、等である。
また、画像合成部２２は、元画像の属性情報と対象物の属性情報を用いることで、合成画像の属性情報を生成する。元画像の属性情報は、元画像の属性を示す情報である。元画像の部分毎に属性が定められて、部分毎に属性が異なっていてもよいし、同じであってもよい。対象物の属性情報は、その対象物の属性を示す情報である。対象物の部分毎に属性が定められて、部分毎に属性が異なっていてもよいし、同じであってもよい。合成画像の属性情報は、対象物に反映された状態の元画像の属性を示す情報と、対象物の属性を示す情報とを含む。対象物や元画像において、部分毎に属性が定められている場合、合成画像においても、部分毎に属性が定められる。例えば、画像合成部２２は、対象物の属性情報によって元画像の属性情報を補正し、その補正された元画像の属性情報を含む合成画像の属性情報を生成する。こうすることで、対象物に元画像が反映された状態を表す合成画像が生成されることになる。元画像や対象物において部分毎に属性が定められている場合、画像合成部２２は、部分毎に属性情報を補正する。もちろん、画像合成部２２は、元画像の属性情報を補正せずに、その元画像の属性情報を含む合成画像の属性情報を生成してもよい。
なお、元画像のデータや対象物画像のデータは、端末装置１０の記憶部１８に記憶されていてもよいし、端末装置１０以外の外部装置に記憶されて、その外部装置から端末装置１０に提供されてもよい。例えば、端末装置１０は、インターネット等の通信経路を利用することで、外部装置から元画像のデータや対象物画像のデータを取得してもよい。
制御部２４は、端末装置１０の各部の動作を制御する機能を有する。例えば、制御部２４は、各種のプログラムの実行、通信部１２による通信の制御、ＵＩ部１４を用いた情報の通知（例えば情報の表示や音声出力等）の制御、ＵＩ部１４を用いて入力された情報の受け付け、等を行う。また、制御部２４は、表示制御部２６と振動制御部２８を含む。
表示制御部２６は、各種の情報をＵＩ部１４の表示部に表示させる機能を有する。例えば、表示制御部２６は、元画像、対象物画像、合成画像等の画像を表示部に表示させる。
振動制御部２８は、振動部１６を制御する機能を有する。例えば、振動制御部２８は、表示部に表示されている画像の属性情報に従って振動部１６を制御することで、その属性情報に基づく質感や触感を表示部にて実現する。具体的には、振動制御部２８は、その画像の属性情報によって定められる周波数や振幅で振動部１６を振動させる。振動制御部２８は、画像の部分毎に振動を制御してよい。例えば、部分毎に属性が定められている場合、振動制御部２８は、部分毎の属性に従って各部分の振動を制御する。また、指示子（例えば、ユーザの指やスタイラス等）が表示部の表面に接触し、検知部２０が、その接触を検知した場合に、振動制御部２８は、指示子が接触した位置に表示されている画像の属性情報に従って振動部１６を制御してもよい。こうすることで、指示子が接触した位置にて、その属性情報に基づく質感や触感が実現される。例えば、元画像が表示部に表示されている場合、振動制御部２８は、元画像の属性によって定められる周波数や振幅に従って振動部１６を振動させる。また、対象物画像が表示部に表示されている場合、振動制御部２８は、対象物画像に表されている対象物の属性によって定められる周波数や振幅に従って振動部１６を振動させる。また、合成画像が表示部に表示されている場合、振動制御部２８は、合成画像の属性情報によって定められる周波数や振幅に従って振動部１６を振動させる。また、振動制御部２８は、振動部１６による振動のオン及びオフを制御する。振動制御部２８は、振動部１６による振動の周波数や振動の制御に加えて、振動のオン及びオフを制御することで、質感や触感を表示部にて実現してもよい。
以下、本実施形態に係る端末装置１０について更に詳しく説明する。
図２及び図３を参照して、元画像について説明する。図２には、元画像の一例が示されており、図３には、その元画像の属性情報の一例が示されている。図２に示すように、元画像３０は、車を表す画像である。図３に示すように、元画像の属性として、例えば、元画像の色（色味）（つまり、元画像に表されている車の色）、元画像が有する質感（つまり、元画像に表されている車が有する質感）、元画像の質感画像補正値（その質感を表す値）、及び、触感実現振動条件が定められている。触感実現振動条件は、元画像の触感（つまり、元画像に表されている車の触感）を実現するための振動条件であり、振動数の条件と振幅の条件を含む。図３に示す例では、元画像の色は「灰色」であり、質感は「メタリック」であり、質感画像補正値は「Ａ」であり、振動数は「Ｂ」であり、振幅は「Ｃ」である。実際には、「Ａ」として、画像にて質感を実現するための値が用いられ、「Ｂ」及び「Ｃ」として、触感を実現するための値が用いられる。
元画像の部分毎に属性が定められて、元画像の属性情報には、各部分の属性を示す情報が含まれていてもよい。例えば、部分毎に、色、質感、質感画像補正値、触感実現振動条件が定められている。これらは、部分毎に異なっていてもよいし、同じであってもよい。
図４及び図５を参照して、対象物について説明する。図４には、対象物の一例が示されており、図５には、その対象物の属性情報の一例が示されている。図４に示すように、対象物３２は、Ｔシャツである。Ｔシャツの材質は「麻の布」である。図５に示すように、対象物の属性として、例えば、対象物の色、対象物が有する質感、対象物の質感画像補正値、及び、触感実現振動条件が定められている。触感実現振動条件は、対象物の触感を実現するための振動条件である。図５に示す例では、対象物の色は「茶色」であり、質感は「ザラザラ」であり、質感画像補正値は「Ｄ」であり、振動数は「Ｅ」であり、振幅は「Ｆ」である。実際には、「Ｄ」として、画像にて質感を実現するための値が用いられ、「Ｅ」及び「Ｆ」として、触感を実現するための値が用いられる。
対象物の部分毎に属性が定められて、対象物の属性情報には、各部分の属性を示す情報が含まれていてもよい。例えば、部分毎に、色、質感、質感画像補正値、触感実現振動条件が定められている。これらは、部分毎に異なっていてもよいし、同じであってもよい。
例えば、ユーザが、合成対象となる元画像と対象物を選択する。具体的には、表示制御部２６は、対象物画像の候補群を表示部に表示させる。ユーザは、ＵＩ部１４を用いて、対処物画像の候補群から合成対象の対象物画像を選択する。同様に、表示制御部２６は、元画像の候補群を表示部に表示させる。ユーザは、ＵＩ部１４を用いて、元画像の候補群から合成対象の元画像を選択する。候補群のデータは、端末装置１０の記憶部１８に記憶されているデータであってもよいし、インターネット等の通信経路を介して取得されたデータであってもよいし、外部装置から取得されたデータであってもよい。上記のように対象物画像と元画像がユーザによって選択されて合成指示が与えられた場合、画像合成部２２は、元画像と対象物画像とを合成することで合成画像を生成する。
以下、図６及び図７を参照して、合成画像について説明する。図６には、合成画像の一例が示されており、図７には、その合成画像の属性情報の一例が示されている。一例として、車を表す元画像３０と対象物３２を表す対象物画像が、合成対象としてユーザによって選択されているものとする。この場合、画像合成部２２は、元画像３０と対象物画像とを合成することで合成画像を生成する。この合成において、画像合成部２２は、対象物３２（対象物画像）の属性によって、元画像３０の属性を補正する。図６には、その合成画像３４が示されている。合成画像３４は、元画像３０が対象物３２に反映（形成）された状態を表す画像であって、対象物３２を表す対象物画像３６と元画像３８とからなる。元画像３８は、元画像３０の属性が対象物３２の属性によって補正された後の画像である。図６に示す例では、元画像３０は、対象物画像３６に編み込まれるような仕様で対象物画像３６に合成されている。
図７に示すように、合成画像３４の属性（対象物３２に元画像３０が反映されることで生成される合成物の属性）として、合成画像（合成物）の色、合成画像（合成物）が有する質感、合成画像（合成物）の質感画像補正値、及び、触感実現振動条件が定められている。触感実現振動条件は、合成画像（合成物）の触感を実現するための振動条件である。
図７に示されている「非合成部」は、合成画像３４において元画像３０が合成されていない部分、つまり、元画像３０が合成されていない対象物画像３６の部分である。更に換言すると、「非合成部」は、合成画像３４において元画像３８以外の部分である。「合成部」は、合成画像３４において元画像３０が合成されている部分、つまり、元画像３０と対象物画像３６とが合成されている部分である。更に換言すると、「合成部」は、合成画像３４において元画像３８が占める部分である。
非合成部（元画像３８以外の部分）においては、対象物画像３６に元画像３０が合成されていないので、非合成部の属性は、対象物画像３６（対象物３２）の属性と同じである。つまり、非合成部の色は、対象物３２の色と同じ「茶色」であり、非合成部の質感は、対象物３２の質感と同じ「ザラザラ」であり、非合成部の質感画像補正値は、対象物３２の質感画像補正値と同じ「Ｄ」であり、非合成部の周波数は、対象物３２の周波数と同じ「Ｅ」であり、非合成部の振幅は、対象物３２の振幅と同じ「Ｆ」である。
合成部（元画像３８が占める部分）においては、対象物画像３６に元画像３０が合成されており、合成部は、対象物３２の属性によって補正された属性を有する。つまり、合成部の色は、元画像３０の色に対象物３２の色が反映された色であり、例えば、「茶色が混ざった灰色」である。また、合成部の質感は、元画像３０の質感（メタリック感）と対象物３２の質感（ザラザラ感）とが混ざり合った質感である。また、合成部の質感画像補正値は、その合成物の質感を表す値「Ｇ」となる。また、合成部の触感は、元画像３０の触感と対象物３２の触感とが混ざり合った触感であり、周波数は「Ｈ」であり、振幅は「Ｉ」である。実際には、「Ｇ」として、画像にて質感を表現するための値が用いられ、「Ｈ」及び「Ｊ」として、触感を実現するための値が用いられる。
以上のように、非合成部と合成部とでは、色、質感及び触感が互いに異なる。なお、合成画像３４が表示部に表示された場合、その合成画像３４とそれ以外の部分とでは、色、質感及び触感が互いに異なる。
元画像や対象物について、部分毎に属性が定められている場合、部分毎に、対象物の属性が元画像に反映されて、合成画像が生成される。
上記のように合成画像３４が生成されると、表示制御部２６は、合成画像３４をＵＩ部１４の表示部に表示させる。この表示において、表示制御部２６は、合成画像３４の属性情報（例えば図７に示されている属性情報）が示す色と質感を有する合成画像３４を表示部に表示させる。具体的には、表示制御部２６は、合成画像３４中の非合成部については、非合成部の色と質感を有する画像を表示し、合成画像３４中の合成部については、合成部の色と質感を有する画像を表示する。また、振動制御部２８は、合成画像３４の属性情報が示す触感実現振動条件に従って振動部１６を制御することで、合成画像３４（合成物）の質感と触感を実現する。具体的には、振動制御部２８は、合成画像３４中の非合成部については、非合成部の周波数と振幅で振動部１６を振動させ、合成画像３４中の合成部については、合成部の周波数と振幅で振動部１６を振動させる。なお、振動制御部２８は、周波数及び振幅の中の少なくとも１つのパラメータを用いて振動部１６を振動させてもよい。
上記のように表示制御と振動制御を行うことで、合成画像３４中の非合成部（元画像３８以外の部分）からは、対象物３２が有する色味、質感及び触感が得られる。また、合成画像３４中の合成部（元画像３８が占める部分）からは、元画像３０の属性に対象物３２の属性が反映された状態の属性が得られる。これにより、例えば、ユーザが、表示部上で非合成部に触れたときと合成部に触れたときとで、互いに異なる質感や触感が得られる。なお、振動制御部２８は、ユーザが表示部に触れたときに、その触れた箇所に対応する属性に従って振動部１６を振動させてもよいし、ユーザが表示部に触れなくても振動部１６を振動させてもよい。以上のように、本実施形態によれば、元画像を対象物に反映させたときの質感と触感がユーザに提供される。
また、ユーザは、別の元画像や別の対象物（対象物画像）を合成対象として選択して合成指示を与えた場合、画像合成部２２は、当該別の元画像や当該別の対象物（対象物画像）を用いて別の合成画像を生成する。その合成画像は、表示部に表示される。元画像や対象物を変更することで、色味や質感や触感が異なる様々な合成画像（合成物）がユーザに提供される。例えば、インターネット上のショッピングサイトや、デザイン作成の場面において、本実施形態が適用されてもよい。
また、対象物の色味、質感及び触感が変更されてもよい。例えば、ユーザが、ＵＩ部１４を用いて、対象物の色味や質感や触感を指定した場合、画像合成部２２は、ユーザによって指定された属性を有する対象物画像と元画像とを合成することで、新たな合成画像を生成する。その合成画像は表示部に表示され、また、属性に従った振動条件によって振動が発生させられる。こうすることで、色味や質感や触感の異なる合成画像がユーザに提供される。表示制御部２６は、対象物の色味、質感及び触感の一覧を表示部に表示させて、ユーザは、その一覧から色身や質感や触感を選択してもよい。また、元画像（その物体）の色味、質感及び触感が変更されてもよい。対象物の属性を変更する場合と同様に、ユーザが、元画像の属性を指定すると、その属性を有する元画像と対象物画像とが合成されて、合成画像が表示される。こうすることで、色味や質感や触感の異なる合成画像がユーザに提供される。
なお、対象物画像に複数の元画像が合成されてもよい。この場合、元画像毎に、属性に従った質感や触感が実現される。
以下、変形例について説明する。
＜変形例１＞
変形例１について説明する。変形例１では、対象物への元画像の反映の仕様（仕方）に応じて、質感や触感が変更される。上述した実施形態では、対象物画像に元画像が編み込まれるような仕様で、元画像と対象物画像とが合成されているが、変形例２では、対象物画像上に元画像が重畳（上書き）されるような仕様で、元画像と対象物画像とが合成される。変形例１では、画像合成部２２は、対象物画像上に元画像を重畳することで合成画像を生成する。合成画像中のその重畳部（合成部）は、元画像と同じ属性を有している。つまり、重畳部においては、対象物画像が元画像によって上書きさているともいえる。
図８には、変形例１に係る合成画像の属性情報の一例が示されている。変形例１に係る合成画像は、元画像３０と対象物画像３６とを合成することで生成された画像である。合成画像中の非合成部（対象物画像３６に対して元画像３０が重畳していない非重畳部）の属性は、対象物３２（対象物画像３６）の属性と同じである（図５参照）。また、合成画像中の非合成部（対象物画像３６に対して元画像３０が重畳している重畳部）の属性は、元画像３０の属性と同じである（図３参照）。
表示制御部２６は、上記の属性情報を有する合成画像を表示部に表示させる。また、振動制御部２８は、上記の属性情報に従って振動部１６を振動させる。
変形例１によれば、合成画像中の合成部（重畳部）からは、元画像３０が有する色味、質感及び触感が得られ、非合成部（非重畳部）からは、対象物３２（対象物画像３６）が有する色味、質感及び触感が得られる。
また、画像合成部２２は、合成画像において、元画像３０内の特定領域の属性を、元画像３０の属性と同じ値に設定し、元画像３０内の特定領域以外の部分の属性を、元画像３０の属性に対象物３２の属性が反映された値に設定してもよい。その特定領域は、ユーザによって設定されてもよいし、予め設定されていてもよい。
なお、ユーザによる指示に応じて、制御部２４は、上記の実施形態に係る処理又は変形例１に係る処理の何れかを実行してもよい。つまり、上記の実施形態のように、対象物３２の属性が反映された元画像３８を含む合成画像３４が表示部に表示されている状態で、ユーザが、ＵＩ部１４を用いて、変形例１に係る処理の実行指示を与えた場合、画像合成部２２は、変形例１に係る合成画像を生成し、表示制御部２６は、合成画像３４に代えて、変形例１に係る合成画像を表示部に表示させる。これとは逆に、変形例１に係る合成画像が表示部に表示されている状態で、ユーザによって、上記の実施形態に係る処理の実行指示が与えられた場合、変形例１に係る合成画像に代えて合成画像３４が表示部に表示される。このように処理を切り替えられるようにしておくことで、ユーザの好みに応じた合成画像を提供することができる。
画像合成部２２は、対象物において元画像が反映される位置に応じて、その反映の仕様を変えてもよい。例えば、画像合成部２２は、対象物画像上のある位置においては、上述した実施形態と同様の仕様（元画像を対象物画像に編み込むような仕様）で、元画像と対象物画像とを合成し、対象物画像上の別の位置においては、変形例１に係る仕様で、元画像と対象画像とを合成する。こうすることで、合成画像上の位置に応じて異なる質感や触感が実現される。
＜変形例２＞
変形例２について説明する。変形例２では、画像合成部２２は、予め定められた属性（例えば初期値）を対象物の属性として用いて合成画像を生成する。合成画像中の非合成部は、対象物の属性の代わりに、予め定められた属性を有し、合成画像中の合成部は、元画像の属性の属性を有する。
図９には、変形例２に係る合成画像の一例が示されている。変形例２に係る合成画像４０は、元画像３０と対象物画像３６とを合成することで生成された画像である。その合成において、画像合成部２２は、対象物３２（対象物画像３６）の色、質感及び触感の値を、予め定められた値（例えば初期値）に設定して、元画像３０と対象物画像３６とを合成する。合成画像４０中の対象物画像４２は、属性値としてその初期値が反映された画像である。初期値として、例えば、ゼロ（なし、ｎｕｌｌ、無効等）が設定されている。つまり、対象物３２の色は無色であり、質感、質感画像補正値、周波数及び振幅は設定されていない。こうすることで、合成画像４０においては、対象物３２の形状（外形）のみが表される。また、対象物３２の属性値がゼロに設定されているので、合成画像４０中の元画像３０は、合成前の属性を有する。
図１０には、合成画像４０の属性情報が示されている。上述したように、合成画像４０中の非合成部（元画像３０以外の部分）の属性として、初期値（なし）が設定されている。合成画像４０中の合成部（元画像３０の部分）の属性として、合成前の元画像３０の属性が設定されている。
変形例２によれば、対象物の色味、材質及び触感が除去された状態の合成画像が表示されるので、対象物の属性を元画像に反映させる場合と比べて、元画像の色味、材質及び触感が、より明確にユーザに提供される。例えば、対象物と元画像との間の相対的な位置関係や大小関係を確認するときには便利である。
例えば、図６に示されている合成画像３４（対象物３２の属性が反映されている画像）が表示部に表示されている場合に、ユーザが、ＵＩ部１４を用いて、対象物の属性の除去を指示した場合、画像合成部２２は、図９に示されている合成画像４０を生成し、表示制御部２６は、合成画像３４に代えて又は合成画像３４と共に、合成画像４０を表示部に表示させてもよい。その状態で、ユーザが、ＵＩ部１４を用いて、対象物の色味や質感や触感を指定した場合、画像合成部２２は、ユーザによって指定された属性を有する対象物画像と元画像とを合成し、表示制御部２６は、その合成によって生成された合成画像を表示部に表示させる。こうすることで、対象物の属性が反映されていない元画像の属性をユーザに分かり易く提供しつつ、合成画像の属性を調整することができる。
なお、ユーザによる指示に応じて、上述した実施形態に係る処理、変形例１に係る処理、及び、変形例２に係る処理が切り替えて実行されてもよい。
＜変形例３＞
変形例３について説明する。変形例３では、画像（例えば、元画像、対象物画像、合成画像等）に表されている物体の動きに応じて、画面上にて実現される質感と触感が変更される。つまり、振動制御部２８は、その動きに応じて、振動部１６による振動の周波数と振幅の中の少なくとも１つを変更して振動部１６による振動を制御する。
図１１には、変形例３に係る合成画像の一例が示されている。変形例３に係る合成画像４４は、元画像３０と対象物画像３６とを合成することで生成された画像である。合成画像４４中の元画像３８は、対象物の属性が元画像３０に反映された画像である。例えば、符号４６に示すように、合成画像４４に表されている対象物としてのＴシャツが波打っているものとする。つまり、合成画像４４が動画として表示されて、Ｔシャツの一部又は全部が波打っているものとする。この場合、振動制御部２８は、波が高くなっている部分（つまり凸部）、つまり、合成画像４４において凸部が表されている凸部画像においては、ざらつき感の触感フィードバックが強調されるように振動部１６による振動を制御する。一方、振動制御部２８は、波が低くなっている部分（つまり凹部）、つまり、合成画像４４において凹部が表されている凹部画像においては、ざらつき感の触感フィードバックが弱くなるように振動部１６による振動を制御する。
例えば、画像中に波打ちが発生している場合、凸部画像には、ざらつき感の触感フィードバックが強調されるという属性が割り当てられ、振動制御部２８は、画面上で凸部画像が表示されている部分では、凸部画像に割り当てられた属性に従って振動部１６による振動を制御する。一方、凹部画像には、ざらつき感の触感フィードバックが弱くなるという属性が割り当てられ、振動制御部２８は、画面上で凹部画像が表示されている部分では、凹部画像に割り当てられた属性に従って振動部１６による振動を制御する。
ユーザが、ＵＩ部１４を用いて、画面上にて、合成画像４４が表示されている部分に力を加えたり、その部分を揺さ振る操作を行ったりした場合、表示制御部２６は、ユーザによる操作に従って、合成画像４４に表されている対象物が波打っているように合成画像４４を表示部に表示させてもよい。また、合成画像中の元画像が別の元画像に変更された場合や、対象物画像が別の対象物画像に変更された場合に、合成画像に波打ちが発生してもよい。
なお、合成画像を例に挙げて説明したが、元画像や対象物画像が表示されている場合も、上記と同様に、画像に表された物体の動きに応じて、質感と触感が変更される。
また、現実空間においては、凸部に対して凹部は奥側に配置されているため、凸部に比べて凹部は触り難い部分であるが、ユーザが凹部を強く押した場合には、その部分に触れ易くなる。画面上でこの奥行き感を実現するために、振動制御部２８は、凹部が表されている部分に印加された圧力（例えばユーザの指によって印加された圧力）に応じて、その部分における触感フィードバックの程度を変える。その圧力は、検知部２０（例えば圧力センサ）によって検知される。例えば、振動制御部２８は、画像において凹部が表されている部分に印加された圧力が大きいほど、触感フィードバックの程度を大きくする。こうすることで、ユーザは、凹部に触れているという感覚を擬似的に体験することができる。
＜変形例４＞
変形例４について説明する。変形例４では、画像（例えば、元画像、対象物画像、合成画像等）に表されている物体への光の照射状態（物体への光の当たり方）に応じて、画面上にて実現される質感と触感が変更される。つまり、振動制御部２８は、光の照射状態に応じて、振動部１６による振動の周波数と振幅の中の少なくとも１つを変更して振動部１６による振動を制御する。例えば、振動制御部２８は、画像に表されている部分の明るさに応じて触感を変える。具体的には、振動制御部２８は、画像において明るい部分ほど、ツルツル感の程度が高くなるように（つまり、摩擦がより小さくなるように）、振動部１６による振動を制御し、暗い部分ほどザラザラ感の程度が高くなるように（つまり、摩擦がより大きくなるように）、振動部１６による振動を制御する。
変形例４によれば、画像の明暗が質感や触感によって表現される。
また、振動制御部２８は、画像に表示されている物体からの反射の状態（反射の強度、反射角度等）に応じて、振動部１６による振動の周波数と振幅の中の少なくとも１つを変更してもよい。こうすることで、反射の状態に応じて、画面上にて実現される質感と触感が変更される。物体への光の照射状態が同一であっても、反射角度や光の吸収等によっては、反射状態が異なる場合がある。上記のように反射状態に基づいて振動を制御することで、その反射状態に応じた質感や触感を実現することができる。
画像に表されている物体の部分毎に光の照射状態が異なる場合、振動制御部２８は、部分毎に振動の周波数や振幅を変えることで、部分毎の質感や触感を実現する。
＜変形例５＞
変形例５について説明する。図１２には、変形例５に係る端末装置１０Ａの一例が示されている。端末装置１０Ａは、図１に示されている端末装置１０の構成に加えて、提供部４８を含む。
提供部４８は、元画像の属性に適合する対象物を提供（又は案内）する機能を有する。例えば、複数の対象物が登録されたデータベースが予め作成されており、そのデータベースが、サーバ等の外部装置に格納されている。提供部４８は、インターネット等の通信経路を介して、そのデータベースにおいて、元画像の属性に適合する対象物を検索する。例えば、そのデータベースにおいては、対象物毎に、対象物の属性と、その対象物の属性に適合する同一又は他の属性とが予め互いに対応付けられている。例えば、対象物の属性としての質感や触感がザラザラ感である場合、そのザラザラ感に適合する（相性が良い）属性として、同一のザラザラ感が、その対象物の属性に対応付けられている。また、対象物の属性としての質感や触感が凹凸感である場合、その凹凸感に適合する（相性が良い）属性として、ツルツル感が、その対象物の属性に対応付けられている。なお、この対応付けは一例に過ぎず、これらとは異なる対応関係が定められていてもよい。また、対象物の色や触感実現振動条件に適合する（相性が良い）属性が、当該対象物の属性に対応付けられていてもよい。提供部４８は、元画像の属性を受け付けて、このようなデータベースにおいて、その属性に対応付けられている属性を有する対象物を、当該元画像の属性に適合する対象物として特定し、その対象物を提供する。なお、データベースは、端末装置１０に設けられていてもよい。
以下、具体例を挙げて変形例５について説明する。例えば、ユーザが、ＵＩ部１４を用いて、図２に示されている元画像３０を指定した場合、提供部４８は、上記のデータベースにおいて、その元画像３０の属性（図３に示されている属性）に対応付けられている属性を有する対象物を特定する。図３に示すように、元画像３０に表されている車の質感は「メタリック感」であり、提供部４８は、データベースにおいて、メタリック感に対応付けられている対象物の属性を特定し、その対象物を、元画像３０の属性に適合する対象物として提供する。例えば、データベースにおいて、メタリック感に適合する属性としてザラザラ感がメタリック感に対応付けられている場合、提供部４８は、データベースにおいて、ザラザラ感を属性として有する対象物を検索する。
図１３及び図１４には、ザラザラ感を属性として有する対象物の属性情報が示されている。図１３に示されている属性情報は、図４に示されている対象物３２の属性情報である。図１４に示されている属性情報は、布αの属性情報である。
提供部４８は、データベースから、元画像３０の属性に適合する対象物に関する情報（例えば、属性情報や対象物画像データ）を取得する。表示制御部２６は、その対象物に関する情報を表示部に表示させる。例えば、表示制御部２６は、元画像３０の属性に適合する対象物の一覧を表示部に表示させる。ユーザがその一覧から対象物を選択した場合、画像合成部２２は、ユーザによって選択された対象物の画像と元画像３０とを合成することで合成画像を生成し、表示制御部２６は、その合成画像を表示部に表示させる。
また、提供部４８によって対象物に関する情報が得られた場合、画像合成部２２は、表示されている合成画像中の対象物画像を、その対象物の画像に変更し、変更後の対象物画像と元画像３０とを合成することで、新たな合成画像を生成してもよい。例えば、図６に示されている合成画像３４が表示部に表示されている状態で、ユーザが、元画像３０の属性に適合する対象物の提供指示を与えた場合、提供部４８は、上述したように、元画像３０の属性に適合する対象物に関する情報を取得する。例えば、図１３及び図１４に示されている属性を有する対象物が、元画像３０の属性に適合する場合、画像合成部２２は、合成画像３４中の対象物画像を、図１３又は図１４に示されている属性を有する対象物の画像に変更して、元画像３０と変更後の対象物画像とを合成する。例えば、図１４に示されている属性を有する対象物が新たに提供された場合、画像合成部２２は、合成画像３４中の対象物画像を、布αを表す対象物画像に変更し、その対象物画像と元画像３０とを合成することで合成画像を生成する。より詳しく説明すると、画像合成部２２は、合成画像３４に表されている対象物としてのＴシャツの形状を変えずに、対象物の属性を布αの属性に変更して画像を合成する。これにより、図１４に示されている属性を有する対象物に元画像３０が反映された状態の合成画像が得られる。
なお、元画像３０の属性に適合する複数の対象物が提供された場合、画像合成部２２は、対象物毎に元画像３０と対象物画像とを合成することで複数の合成画像を生成し、表示制御部２６は、当該複数の合成画像を表示部に表示させてもよい。例えば、表示制御部２６は、当該複数の合成画像を一覧にして表示部に表示させる。こうすることで、ユーザは、複数の合成画像を一度に見比べることができる。
変形例５によれば、元画像の属性に適合する対象物に関する情報がユーザに提供される。
例えば、オーダーメイドの服作りを行う場合に、元画像の属性に適合する対象物としての生地等の情報がユーザに提供される。
なお、ユーザが、ＵＩ部１４を用いて、対象物の属性を指定してもよい。この場合、提供部４８は、データベースにおいて、ユーザによって指定された属性を有する対象物を検索し、その対象物に関する情報（例えば、属性情報や対象物画像データ）を取得する。表示制御部２６は、その対象物画像と元画像とを合成することで生成された合成画像を表示部に表示させる。
提供部４８は、サーバ等の外部装置に設けられて、インターネット等の通信経路を介して、元画像の属性に適合する対象物を提供するサービスを実行してもよい。この場合、提供部４８は、端末装置１０Ａに設けられていなくてもよい。
＜変形例６＞
変形例６について説明する。変形例６では、端末装置１０が設置されている環境（例えば端末装置１０の周囲の環境）に応じて、画面上で提供される質感や触感が変更される。その環境の指標値は、例えば、温度、湿度、気圧、風量、天候、天気予報、風向き、明るさ、日当たり（照度）の程度、緯度、経度、高さ、海抜、等である。また、環境の概念に、室内又は室外が含まれてもよい。環境の指標値は、センサによって検知される。センサは、端末装置１０に設けられていてもよいし、端末装置１０以外の場所や機器に設けられていてもよい。画像合成部２２は、センサから得られた環境の指標値に基づいて、画像（例えば、元画像、対象物画像、合成画像等）の属性を変更し、表示制御部２６は、環境に応じて属性が変更された画像を表示部に表示させる。
また、画像合成部２２は、表示中の画像の属性と環境との相対的な関係に基づいて、表示中の画像の属性を変更してもよい。つまり、画像合成部２２は、表示中の画像の属性を、その表示中の画像の属性と環境との組み合わせに対応する質感と属性を実現するための属性に変更してもよい。こうすることで、表示中の画像の属性と環境との組み合わせに対応する質感と属性が実現される。
具体例を挙げて説明する。例えば、表示中の画像に表されている物体（例えば金属の物体）が、高温領域にて軟らかくなる物体である場合において、端末装置１０の周囲の温度が高温領域に含まれる場合、画像合成部２２は、画像においてその物体が表されている部分にユーザが触れたときに、その部分にて軟らかい感触が得られるように、画像の属性（例えば、感触実現振動条件）を変更する。これにより、ユーザが、画面上にて、物体が表されている部分に触れた場合、軟らかい感触がユーザに伝えられる。なお、高温領域は、予め定められた閾値温度以上の温度領域である。
また、日当たりの良い環境（例えば、照度が閾値以上の環境）に端末装置１０が設置された場合、表示中の画像に表されている物体が輝いて表示されてもよい。
また、表示中の画像に表されている物体（例えば旗）が、風によって、なびいたりはためいたりする物体である場合において、端末装置１０の周囲の風量が閾値以上の場合、画像中にてその物体が、なびいたりはためいたりしてもよい。
また、表示中の画像に表されている物体（例えば、アイスクリーム等のお菓子）が、高温領域にて溶ける物体である場合において、端末装置１０の周囲の温度が高温領域に含まれる場合、画像中にてその物体が、溶けてもよい。このように、質感や触感の他に、画像自体に表されている物体の形状が変化してもよい。
変形例６によれば、端末装置１０が置かれている環境に応じた質感や触感が実現される。
＜変形例７＞
変形例７について説明する。変形例７では、表示中の画像（例えば、元画像、対象物画像、合成画像等）に表されている物体の奥行きの程度に応じて、触感が変更される。
図１５を参照して、変形例７について詳しく説明する。例えば、円柱状の物体５０を表す画像が表示されているものとする。画面の位置を基準として、実空間上における物体５０の各位置について考察してみると、破線で示されている最前面位置５２は、画面に最も近い位置である。物体５０は曲面を有しているため、画面上で見えている物体５０の縁部５４は、実空間上では、最前面位置５２よりも奥側に配置されている。従って、画面の位置に最前面位置５２が定められた場合において、ユーザが画面に触れた場合、実空間上では、物体５０の最前面位置５２に触れることができても、縁部５４は触れることができない。つまり、画面上にて、ユーザが、縁部５４が表示されている箇所に触れたとしても、実空間上では、実際には縁部５４を触れることができない。
上記の触感を画面上で実現するために、物体５０を表す画像の各部分に属性が割り当てられており、振動制御部２８は、各部分の属性に従って振動部１６による振動を制御することで、部分毎の質感や触感を実現する。例えば、物体５０を表す画像には、物体５０が円柱状の物体であることを示す属性情報が含まれており、その属性情報を参照することで、物体５０上の各位置の相対的な位置関係が把握できるようになっている。従って、物体５０を表す画像が表示部に表示された場合、画面上の物体５０の表示位置や表示角度によって、物体５０上の各位置の関係が把握され、物体５０を表す画像の各部分に、その位置関係に応じた属性が割り当てられる。各部分に対する属性の割り当ては、例えば、制御部２４によって行われる。
例えば、最前面位置５２には、最も強い触感フィードバックが得られる属性情報（例えば、触感振動実現条件）が設定されており、最前面位置５２から縁部５４にかけて徐々に弱い触感フィードバックが得られる属性情報が、最前面位置５２から縁部５４の間の各位置に設定されている。振動制御部２８は、このような属性情報に従って振動部１６による振動を制御する。こうすることで、ユーザが、画面上にて、最前面位置５２が表示されている部分に触れた場合、最も強い触感が実現され、最前面位置５２から縁部５４に向かうにつれて、徐々に弱い触感が実現される。
変形例７によれば、実空間上での質感や触感が、擬似的にユーザに与えられる。
また、振動制御部２８は、ユーザが画面を押す圧力に応じて、振動部１６による振動を変えてもよい。例えば、画面上で、ユーザが、縁部５４が表示されている部分（縁部画像）を強く押すほど（印加される圧力が大きくなるほど）、振動制御部２８は、より強い触感フィードバックが実現されるように振動部１６を制御する。こうすることで、最前面位置５２よりも奥側の位置に触れているという感触が、擬似的にユーザに与えられる。
なお、上記の実施形態及び変形例では、振動によって質感や触感が実現されているが、振動以外の技術を用いることで、質感や触感が実現されてもよい。
上記の端末装置１０は、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、端末装置１０は、図示しないＣＰＵ等の１又は複数のプロセッサを備えている。当該１又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、端末装置１０の各部の機能が実現される。上記プログラムは、ＣＤやＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、端末装置１０の各部は、例えばプロセッサや電子回路やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、端末装置の各部は、ＤＳＰ（Digital Signal Processor）やＦＰＧＡ（Field Programmable Gate Array）等によって実現されてもよい。
１０，１０Ａ 端末装置、１６ 振動部、２０ 検知部、２２ 画像合成部、２４ 制御部、２６ 表示制御部、２８ 振動制御部、４８ 提供部。

Claims (35)

  1. 元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段を有し、
    前記制御手段は、表示手段に表示されている前記画像に表されている物体の動きに応じて、前記質感と前記触感を変更する、
    情報処理装置。
  2. 前記画像が表示される画面に振動を与える振動手段を更に有し、
    前記制御手段は、前記振動手段による振動を制御することで前記触感を制御する、
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 前記制御手段は、前記振動手段による振動の周波数及び振幅の中の少なくとも１つを制御する、
    ことを特徴とする請求項２に記載の情報処理装置。
  4. 前記制御手段は、前記画像に表されている物体の凹凸に応じて、前記質感と前記触感を変更する、
    ことを特徴とする請求項１から請求項３何れかに記載の情報処理装置。
  5. 元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段を有し、
    前記制御手段は、前記画像に表されている物体の凹凸に応じて、前記質感と前記触感を変更する、
    情報処理装置。
  6. 前記制御手段は、表示手段に表示されている前記画像の表示箇所に印加された圧力に応じて、前記質感と前記触感を変更する、
    ことを特徴とする請求項１から請求項５何れかに記載の情報処理装置。
  7. 元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段を有し、
    前記制御手段は、表示手段に表示されている前記画像の表示箇所に印加された圧力に応じて、前記質感と前記触感を変更する、
    情報処理装置。
  8. 前記制御手段は、前記画像に表されている物体への光の照射状態に応じて、前記質感と前記触感を変更する、
    ことを特徴とする請求項１から請求項７何れかに記載の情報処理装置。
  9. 元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段を有し、
    前記制御手段は、前記画像に表されている物体への光の照射状態に応じて、前記質感と前記触感を変更する、
    情報処理装置。
  10. 前記制御手段は、色彩を制御することで前記質感を制御する、
    ことを特徴とする請求項１から請求項９何れかに記載の情報処理装置。
  11. 前記制御手段は、前記対象物への前記元画像の反映の仕様に応じて、前記質感と前記触感を変更する、
    ことを特徴とする請求項１から請求項１０何れかに記載の情報処理装置。
  12. 元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段を有し、
    前記制御手段は、前記対象物への前記元画像の反映の仕様に応じて、前記質感と前記触感を変更する、
    情報処理装置。
  13. 前記対象物において前記元画像が反映される位置に応じて、前記反映の仕様が変更される、
    ことを特徴とする請求項１１又は請求項１２に記載の情報処理装置。
  14. 前記元画像の属性に適合する前記対象物を提供する提供手段を更に有する、
    ことを特徴とする請求項１から請求項１３何れかに記載の情報処理装置。
  15. 元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段と、
    前記元画像の属性に適合する前記対象物を提供する提供手段と、
    を有する情報処理装置。
  16. 前記制御手段は、更に、自装置が設置されている環境に応じて、前記質感と前記触感を変更する、
    ことを特徴とする請求項１から請求項１５何れかに記載の情報処理装置。
  17. 元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段を有し、
    前記制御手段は、更に、自装置が設置されている環境に応じて、前記質感と前記触感を変更する、
    情報処理装置。
  18. 前記制御手段は、前記画像が表示されている表示手段に対する、前記画像に表されている物体の奥行きの程度に応じて、前記質感と前記触感を変更する、
    ことを特徴とする請求項１から請求項１７何れかに記載の情報処理装置。
  19. 元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段を有し、
    前記制御手段は、前記画像が表示されている表示手段に対する、前記画像に表されている物体の奥行きの程度に応じて、前記質感と前記触感を変更する、
    情報処理装置。
  20. コンピュータを、
    元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段、
    として機能させ、
    前記制御手段は、表示手段に表示されている前記画像に表されている物体の動きに応じて、前記質感と前記触感を変更する、
    プログラム。
  21. コンピュータを、
    元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段、
    として機能させ、
    前記制御手段は、前記画像に表されている物体の凹凸に応じて、前記質感と前記触感を変更する、
    プログラム。
  22. コンピュータを、
    元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段、
    として機能させ、
    前記制御手段は、表示手段に表示されている前記画像の表示箇所に印加された圧力に応じて、前記質感と前記触感を変更する、
    プログラム。
  23. コンピュータを、
    元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段、
    として機能させ、
    前記制御手段は、前記画像に表されている物体への光の照射状態に応じて、前記質感と前記触感を変更する、
    プログラム。
  24. コンピュータを、
    元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段、
    として機能させ、
    前記制御手段は、前記対象物への前記元画像の反映の仕様に応じて、前記質感と前記触感を変更する、
    プログラム。
  25. コンピュータを、
    元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段、
    前記元画像の属性に適合する前記対象物を提供する提供手段、
    として機能させるプログラム。
  26. コンピュータを、
    元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段、
    として機能させ、
    前記制御手段は、更に、自装置が設置されている環境に応じて、前記質感と前記触感を変更する、
    プログラム。
  27. コンピュータを、
    元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御する制御手段、
    として機能させ、
    前記制御手段は、前記画像が表示されている表示手段に対する、前記画像に表されている物体の奥行きの程度に応じて、前記質感と前記触感を変更する、
    プログラム。
  28. 元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御することを含み、
    前記制御においては、表示手段に表示されている前記画像に表されている物体の動きに応じて、前記質感と前記触感を変更する、
    制御方法。
  29. 元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御することを含み、
    前記制御においては、前記画像に表されている物体の凹凸に応じて、前記質感と前記触感を変更する、
    制御方法。
  30. 元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御することを含み、
    前記制御においては、表示手段に表示されている前記画像の表示箇所に印加された圧力に応じて、前記質感と前記触感を変更する、
    制御方法。
  31. 元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御することを含み、
    前記制御においては、前記画像に表されている物体への光の照射状態に応じて、前記質感と前記触感を変更する、
    制御方法。
  32. 元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御することを含み、
    前記制御においては、前記対象物への前記元画像の反映の仕様に応じて、前記質感と前記触感を変更する、
    制御方法。
  33. 元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御し、
    前記元画像の属性に適合する前記対象物を提供する、
    制御方法。
  34. 元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御することを含み、
    前記制御においては、更に、自装置が設置されている環境に応じて、前記質感と前記触感を変更する、
    制御方法。
  35. 元画像の属性と対象物の属性とに基づき、前記元画像を前記対象物に反映させたときの画像を表現する質感と触感を制御することを含み、
    前記制御においては、前記画像が表示されている表示手段に対する、前記画像に表されている物体の奥行きの程度に応じて、前記質感と前記触感を変更する、
    制御方法。
JP2017235821A 2017-12-08 2017-12-08 情報処理装置、プログラム及び制御方法 Active JP7087367B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017235821A JP7087367B2 (ja) 2017-12-08 2017-12-08 情報処理装置、プログラム及び制御方法
US16/059,058 US10762670B2 (en) 2017-12-08 2018-08-09 Information processing apparatus and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017235821A JP7087367B2 (ja) 2017-12-08 2017-12-08 情報処理装置、プログラム及び制御方法

Publications (2)

Publication Number Publication Date
JP2019102018A JP2019102018A (ja) 2019-06-24
JP7087367B2 true JP7087367B2 (ja) 2022-06-21

Family

ID=66697068

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017235821A Active JP7087367B2 (ja) 2017-12-08 2017-12-08 情報処理装置、プログラム及び制御方法

Country Status (2)

Country Link
US (1) US10762670B2 (ja)
JP (1) JP7087367B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022009341A1 (ja) * 2020-07-08 2022-01-13
WO2022244849A1 (ja) * 2021-05-19 2022-11-24 アルプスアルパイン株式会社 感覚制御方法、感覚制御システム、変換モデル生成方法、変換モデル生成システム、関係式変換方法、およびプログラム
US12003866B2 (en) * 2021-10-20 2024-06-04 Samsung Electronics Co., Ltd. Method for providing image and electronic device supporting the same
WO2023166637A1 (ja) * 2022-03-02 2023-09-07 Ｔｏｓｙｏ株式会社 仮想商店を運営するための方法及び装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110163946A1 (en) 2010-01-07 2011-07-07 Qualcomm Incorporated Simulation of three-dimensional touch sensation using haptics
JP2012520137A (ja) 2009-03-12 2012-09-06 イマージョン コーポレイション テクスチャエンジン用のシステム及び方法
US20140062927A1 (en) 2012-01-31 2014-03-06 Panasonic Corporation Haptic feedback device and haptic feedback method
JP2014112357A (ja) 2012-10-31 2014-06-19 Immersion Corp 触覚効果を用いてユーザインタフェース上で表面フィーチャをシミュレートする方法及び装置
JP2014146194A (ja) 2013-01-29 2014-08-14 Nippon Hoso Kyokai <Nhk> 触覚提示制御装置及び触覚提示制御プログラム
JP2017062818A (ja) 2011-09-06 2017-03-30 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚出力装置および触覚出力装置において触覚効果を生成する方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5195306B2 (ja) 2008-11-04 2013-05-08 セイコーエプソン株式会社 質感情報データ取得装置及びそれを備える表示制御システム
JP5272718B2 (ja) 2008-12-24 2013-08-28 セイコーエプソン株式会社 質感情報データ取得装置、それを備える表示制御システム、質感情報データ取得方法、及び、コンピュータプログラム
US9874935B2 (en) * 2009-03-12 2018-01-23 Immersion Corporation Systems and methods for a texture engine
JP5973823B2 (ja) 2012-07-25 2016-08-23 株式会社 資生堂 質感定量化装置、質感定量化方法、及び質感定量化プログラム
US9547366B2 (en) * 2013-03-14 2017-01-17 Immersion Corporation Systems and methods for haptic and gesture-driven paper simulation
US9729730B2 (en) * 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
JP5780368B1 (ja) 2013-09-26 2015-09-16 富士通株式会社 駆動制御装置、電子機器、及び駆動制御方法
US9230208B2 (en) * 2013-12-18 2016-01-05 International Business Machines Corporation Haptic-based artificial neural network training
US9722985B2 (en) * 2014-05-01 2017-08-01 Qualcomm Incorporated Sensory output for image association
JP6406025B2 (ja) 2015-01-16 2018-10-17 富士通株式会社 電子機器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012520137A (ja) 2009-03-12 2012-09-06 イマージョン コーポレイション テクスチャエンジン用のシステム及び方法
US20110163946A1 (en) 2010-01-07 2011-07-07 Qualcomm Incorporated Simulation of three-dimensional touch sensation using haptics
JP2017062818A (ja) 2011-09-06 2017-03-30 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚出力装置および触覚出力装置において触覚効果を生成する方法
US20140062927A1 (en) 2012-01-31 2014-03-06 Panasonic Corporation Haptic feedback device and haptic feedback method
JP2014112357A (ja) 2012-10-31 2014-06-19 Immersion Corp 触覚効果を用いてユーザインタフェース上で表面フィーチャをシミュレートする方法及び装置
JP2014146194A (ja) 2013-01-29 2014-08-14 Nippon Hoso Kyokai <Nhk> 触覚提示制御装置及び触覚提示制御プログラム

Also Published As

Publication number Publication date
US10762670B2 (en) 2020-09-01
US20190180479A1 (en) 2019-06-13
JP2019102018A (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
JP6906580B2 (ja) ビューポートベースの拡張現実触覚効果のシステム、方法及び非一時的コンピュータ可読媒体
JP7087367B2 (ja) 情報処理装置、プログラム及び制御方法
US10248210B2 (en) Systems and methods for haptically-enabled conformed and multifaceted displays
US10241580B2 (en) Overlaying of haptic effects
US10203757B2 (en) Systems and methods for shape input and output for a haptically-enabled deformable surface
US9245429B2 (en) Haptic warping system
JP2022529757A (ja) 仮想キャラクターの顔の表示方法、装置、コンピュータデバイス、およびコンピュータプログラム
US20170100666A1 (en) Systems and Methods For Performing Haptic Conversion
CN102362246B (zh) 用于使用多个致动器实现纹理的***和方法
US11157084B2 (en) Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects
US20180246572A1 (en) Systems and Methods for Virtual Affective Touch
US20180011538A1 (en) Multimodal haptic effects
US20230273685A1 (en) Method and Arrangement for Handling Haptic Feedback
CN110968248B (zh) 生成用于视觉触摸检测的指尖的3d模型
EP3582080A1 (en) Systems and methods for integrating haptics overlay in augmented reality
KR102591582B1 (ko) 컨텐츠를 표시하는 방법 및 전자 장치
JP2022096634A (ja) 触覚コンテンツの提示及び実施

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220523

R150 Certificate of patent or registration of utility model

Ref document number: 7087367

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150