JP6815528B2 - 自筆支援装置 - Google Patents

自筆支援装置 Download PDF

Info

Publication number
JP6815528B2
JP6815528B2 JP2019544411A JP2019544411A JP6815528B2 JP 6815528 B2 JP6815528 B2 JP 6815528B2 JP 2019544411 A JP2019544411 A JP 2019544411A JP 2019544411 A JP2019544411 A JP 2019544411A JP 6815528 B2 JP6815528 B2 JP 6815528B2
Authority
JP
Japan
Prior art keywords
image
writing
display
image display
support device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019544411A
Other languages
English (en)
Other versions
JPWO2019064987A1 (ja
Inventor
貴洋 佐野
貴洋 佐野
納谷 昌之
昌之 納谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019064987A1 publication Critical patent/JPWO2019064987A1/ja
Application granted granted Critical
Publication of JP6815528B2 publication Critical patent/JP6815528B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1632External expansion units, e.g. docking stations
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • G02B27/028Viewing or reading apparatus characterised by the supporting structure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B43WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
    • B43LARTICLES FOR WRITING OR DRAWING UPON; WRITING OR DRAWING AIDS; ACCESSORIES FOR WRITING OR DRAWING
    • B43L13/00Drawing instruments, or writing or drawing appliances or accessories not otherwise provided for
    • B43L13/10Pantographic instruments for copying, enlarging, or diminishing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • G02B27/022Viewing apparatus
    • G02B27/024Viewing apparatus comprising a light source, e.g. for viewing photographic slides, X-ray transparancies
    • G02B27/026Viewing apparatus comprising a light source, e.g. for viewing photographic slides, X-ray transparancies and a display device, e.g. CRT, LCD, for adding markings or signs or to enhance the contrast of the viewed object
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/08Mirrors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、手書きで文字を書く際の列やバランスの崩れを防ぐためのガイドを行う自筆支援装置に関する。
現在、現実空間に仮想物体などの視覚的な情報を付加して、人が観察する現実世界を拡張する拡張現実(AR:Augmented Reality)技術が知られている。特開2016−194744号公報(以下において、特許文献1という。)には、仮想的な物体(以下において「AR物体」という。)に対する現実の物体の奥行き方向の位置関係からAR物体の描写を制御する方法が開示されている。観測者の視点から、現実物体までの距離に対するAR物体表面までの距離の比をRとしたとき、観測者から見える現実物体の大きさをR倍してAR物体表面に描写する方法である。
また、特開2008−027223号公報(以下において、特許文献2という。)は、映像に対応する触覚を映像空間に位置する対象物をなぞることにより知覚させる、AR物体の存在を現実に近いものとする技術が提案されている。特許文献2には、映像提示手段として、シースルー型ヘッドマウントディスプレイ、ディスプレイとハーフミラーとよりなるシースルー型ディスプレイ、ディスプレイからの映像を投射するプロジェクタ等が挙げられている。映像提示手段が対象物を触る使用者の指より眼に近い位置関係にある場合、指の上に映像が乗り、AR物体が指よりも手前に知覚されてしまうという問題点があるが、映像提示手段を指より眼から遠い位置関係にすることにより、指の上に映像が表示されるという不具合を解消できることが開示されている。
一方、手書きする必要がある書類に対し、文字を書き込む際に、列やバランスが崩れてしまうのを防ぐための手書き支援システムが国際公開第2016/121362号(以下において、特許文献3という。)において提案されている。特許文献3の装置は、AR技術を利用したものであり、画像表示面において表示される手本となる像の鏡像画像をハーフミラーで反射させ、使用者にその反射像(虚像)を筆記面に一致して視認させるように構成されている。
しかしながら、特許文献3の自筆支援装置において、使用者の筆記時の手の下にあるべき虚像が、手の上に重なって表示されてしまうために、奥行き知覚に問題が発生し、筆記時に強い違和感を覚える場合がある。人間の奥行き知覚は、両眼性と単眼性との2つの視覚情報に基づいて得られる。ハーフミラーを用いた虚像(AR物体)が筆記面に投影される構成においては、「両眼視差」からは、AR物体が、手よりも奥に存在すると判断される。一方、現実には、AR物体が現実物体である手と重なり、手を透けて視認されてしまうことから、「単眼性の遮蔽効果」によりAR物体が手の手前に存在するように判断されてしまう。使用者はこの両眼性と単眼性からの視覚情報を同時に取得することになるため、この情報のずれによって、使用者には強い違和感が生じる。
本発明は、上記事情に鑑みてなされたものであって、使用時に使用者が感じる違和感を低減して自筆支援機能を向上させることができる自筆支援装置を提供することを目的とする。
本開示による自筆支援装置は、ハーフミラーと、ハーフミラーのミラー面側に位置する画像表示面と、ハーフミラーのミラー面を挟んで、画像表示面と対向して位置する筆記面とを備え、画像表示面に表示された画像の虚像が、筆記面に投影される自筆支援装置であって、
第1の画像を画像表示面に表示させる画像表示制御部を備え、
筆記面上に現実物体が挿入された場合に、画像表示制御部が、第1の画像の、現実物体の筆記面への垂直投影領域に対応する領域の少なくとも一部領域が非表示処理された非表示処理画像を画像表示面に表示させることにより、非表示処理画像の虚像であって、現実物体の垂直投影領域の内側の少なくとも一部が非表示とされた像が筆記面に投影される。
本開示による自筆支援装置は、画像表示制御部が、筆記面上における現実物体を検出する物***置センサを備え、物***置センサにより取得された現実物体の画像データから非表示処理画像を生成し、画像表示面に表示させてもよい。
本開示による自筆支援装置は、画像表示制御部が、非表示処理画像として、第1の画像の、現実物体の筆記面への垂直投影領域に対応する領域から所定長の位置より内側の領域のみが非表示処理された画像を画像表示面に表示させてもよい。
この場合、非表示処理画像の虚像として、垂直投影領域の輪郭から所定長の位置より内側の領域のみを非表示とされた像が筆記面に投影されることとなる。
ここで、所定長とは、輪郭から0mm超であり、本発明の効果を奏する範囲で任意の長さを取りうるが、輪郭から10mm以内とすることが好ましい。
本開示による自筆支援装置においては、画像表示制御部が、第1の画像よりも表示面積が小さい第2の画像を、上記非表示処理画像にオーバーレイして、画像表示面に表示させてもよい。
本開示による自筆支援装置においては、画像表示制御部が、第2の画像を、非表示処理画像の、非表示処理された上記一部領域に、少なくとも一部重ねて表示面に表示させることが好ましい。
本開示による自筆支援装置においては、画像表示制御部が、第2の画像の全域を、上記一部領域に重ねて表示させることがさらに好ましい。
本開示による自筆支援装置によれば、使用者の筆記具を持つ手に重なって虚像が表示されるのを抑制することができるため、虚像と手の位置との位置情報に関して使用者が感じる違和感を低減することができる。したがって、自筆支援機能を向上させることができる。
本発明の実施形態に係る自筆支援装置の概略構成を示す斜視図である。 図1に示す自筆支援装置の概略構成を示す側面図である。 画像表示面および筆記面に表示される画像を示す模式図である。 自筆支援装置における演算ブロックダイアグラムを示すブロック図である。 第1の表示方法を説明するための図である。 第1の表示方法の場合の使用者からみた筆記面の状態を説明する図である。 第2の表示方法を説明するための図である。 第2の表示方法の場合の使用者からみた筆記面の状態を説明する図である。 第3の表示方法を説明するための図である。 第3の表示方法の場合の使用者からみた筆記面の状態を説明する図である。 第4の表示方法の場合の使用者からみた筆記面の状態を示す図である。 比較例1の表示方法における、使用者からみた筆記面の状態を説明する図である。 比較例2の表示方法における、使用者からみた筆記面の状態を説明する図である。
以下、本発明の実施の形態について図面を参照して説明する。
図1は、本発明の実施形態の自筆支援装置の概略構成を斜視図であり、図2は、本実施形態の自筆支援装置1における筆記面、ミラー面および画像表示面の位置関係を示す側面図である。
図1、図2に示すように、本実施形態の自筆支援装置1は、ハーフミラー20と、ハーフミラー20のミラー面22側に位置する画像表示面32と、ハーフミラー20のミラー面22を挟んで、画像表示面32と対向して位置する筆記面12とを備える。本構成により、自筆支援装置1においては画像表示面32に表示された画像の虚像が、筆記面12に投影される。本実施形態においては、筆記面12とミラー面22との光学距離が、ミラー面22と画像表示面32との間の光学距離と等しくなるように、ハーフミラー20、画像表示面32および筆記面12の位置は調整されている。但し、ハーフミラー20において反射させた虚像が、筆記面12に所望の大きさで投影される構成であれば本構成に限らない。なお、筆記面12は、自筆支援装置1を使用する際に使用者が文字、絵などを筆記する用紙等の筆記媒体10が配置される面であるが、以下において筆記面12は筆記媒体10の表面と見做して説明する。画像表示面32は、例えば、ディスプレイあるいはディスプレイを備えたタブレット型コンピュータおよびスマートフォンなどの画像提示体30のパネル面から構成される。
図3の左図が画像提示体30の画像表示面32に表示される画像100Aであり、右図が筆記面12に投影される、画像100Aの反射像(虚像)100Bである。図3に示すように、画像表示面32には、筆記面12に表示すべき像100Bの鏡像となる画像100Aが表示される。ここで例示されている像100Bは、はがきの表書きの住所、宛先等を記載すべき領域のレイアウト画像である。
図2に示すように、使用者がハーフミラー20のミラー面22側の観察部60から筆記面12を見たときに、画像表示面32に表示された鏡像画像100Aがミラー面22で反射されて視認される反射像(虚像)100Bが筆記面12に一致して見えるのである。すなわち、本明細書において「筆記面に虚像が投影される」とは、使用者に筆記面12に像が直接投影されているかのように見える状態を意味する。しかし、実際には、使用者は、ミラー面22で反射された鏡像画像の虚像を見ているのであり、プロジェクタによる画像表示のように像が直接投影されているわけではない。
ハーフミラー20はミラー面22を備えている。ハーフミラー20は、ミラー面22に入射する光の一部を反射し、一部を透過させるものであればよく、図2に示すように、観察部60から筆記面12を視認することができ、また、その筆記面12に、ハーフミラー20により反射された画像表示面32に表示される鏡像画像の鏡像(そもそも表示すべき像)を重ねて視認できる反射率および透過率を有するものであればよい。
本実施形態の自筆支援装置1において、画像表示面32を有する画像提示体30は、画像表示面32がハーフミラー20のミラー面22と向かい合うように、支持部材40に支持されている。支持部材40は、画像提示体30を載置するための支持板41を備えている。支持板41は画像提示体30の画像表示面32に表示される画像をミラー面22に写すことができる透明度を有する。
自筆支援装置1は、筆記媒体10が載置される支持台5とその支持台5上にハーフミラー20および画像提示体30の支持部材40を位置させるための支持軸6を備えている。ハーフミラー20と支持部材40は支持軸6に沿って上下に移動できるように構成されていることが好ましい。
本実施形態において、ハーフミラー20のミラー面22は、画像提示体30側の面にあり、筆記面12、ミラー面22および画像表示面32は互いに平行に、画像表示面32とミラー面22との光学距離hと、ミラー面22と筆記面12との光学距離hとが等しくなるように位置される。すなわち、ミラー面22の任意の点Oから、この任意の点Oを通ってミラー面22と垂直に交わる垂線の画像表示面32との交点Aまでの光学距離hと、同一垂線の筆記面12との交点Bまでの光学距離hとが等しい。
本構成において、画像表示面32とミラー面22との光学距離hは、支持板41の厚みdと屈折率nとの積n1・と、支持板41の下面44とミラー面22との距離Lとの和すなわち、h=n・d+Lで表される。また、ミラー面22と筆記面12との光学距離hは、ハーフミラー20の厚みdと屈折率nとの積n・dと、ハーフミラー20の下面24と筆記面12との距離Lとの和、すなわち、h=n・d+Lで表される。
このように、本実施形態の自筆支援装置1においては、光学距離hとhが等しくなるようにハーフミラー20の位置および画像提示体30の位置が調整されていることにより、画像表示面32に表示される画像の虚像を筆記面12に投影させることができる。
本自筆支援装置1は、画像表示面32に画像を表示させる画像表示制御部35を備えている。画像表示制御部35は、筆記面12上に現実物体70が挿入された場合に、現実物体70の筆記面12への垂直投影領域に対応する領域の少なくとも一部領域が非表示処理された非表示処理画像を画像表示面32に表示させる。これにより、自筆支援装置1においては、画像表示面32に表示された非表示処理画像の虚像であって、現実物体の垂直投影領域の内側の少なくとも一部のみが非表示とされた像が筆記面に投影される。
ここで、筆記面12上とは筆記面12とハーフミラー20との間の空間である。この筆記面12上に挿入される現実物体70とは、主として、使用者の手指76および筆記具74が想定される。
本実施形態において、画像提示体30内部に画像表示制御部35が備えられている。この場合の画像表示制御部35による演算ブロックダイアグラムを図4に示す。画像表示制御部35は、筆記面12上に挿入された現実物体70を検出する物***置センサ36と、筆記面12に表示すべき画像の鏡像画像の画像データを保持する画像保持部37と、演算部38とを備えている。物***置センサ36は、例えば、カメラあるいは赤外線センサである。
画像表示制御部35による第1の表示方法について図5および図6を参照して説明する。以下において、筆記面12がはがきの表面であり、筆記面12に表示すべき画像は住所、宛名等を筆記すべき領域のはがき用レイアウト画像100を第1の画像として表示する場合について説明する。画像保持部37は、レイアウト画像100の画像データを記憶する記憶部である。画像保持部37には、はがき用のレイアウト画像のみならず、各種のレイアウト画像の画像データが記憶されており、演算部38は、筆記面に応じて適切な画像データを読み出すことができる。
既述の通り、画像表示面32には、筆記面12に投影される画像の鏡像画像が表示されるが、視覚的に理解しやすいように、図5以降の図面においては、画像表示面に表示される画像について、その投影される虚像を図示して説明する。
演算部38は、物***置センサ36により取得された現実物体の画像データから筆記面12上における現実物体70の垂直投影領域の輪郭情報を算出する。輪郭情報は、例えば、垂直投影領域の形状データおよび筆記面上における座標データである。
演算部38では、上述の輪郭情報に基づいて、筆記面上の垂直投影領域に対応する画像表示面上の領域を非表示にする処理対象領域画像110を作成する(図5参照)。図5において、処理対象領域画像110の周囲を囲む破線は、レイアウト画像100の外周と一致する。処理対象領域画像110は、レイアウト画像100上の座標において、現実物体70の筆記面上の垂直投影領域に対応する領域に一致している。この処理対象領域画像110をレイアウト画像100と重畳させて、レイアウト画像100の、現実物体の筆記面への垂直投影領域に対応する領域が非表示処理された非表示処理画像102を作成する。そして、この非表示処理画像102を画像表示面32に表示させる。以下において、レイアウト画像100において非表示処理された領域を非表示領域という。
上記作用により、図6の下図に示すように、使用者は、筆記面12、非表示処理画像102および自分の手指76が積層された視野像112を認識する。使用者には、筆記面12および非表示処理画像102の上に自分の手指76が位置しているように認識されるため、奥行感に違和感なく筆記作業を行うことができる。
なお、物***置センサ36により検出される現実物体70の表示面12上における動きは常に演算部38に送られ、現実物体70の動きに応じて非表示領域が変化する非表示処理画像が表示される。
上記第1の表示方法において、画像表示制御部35は現実物体70の垂直投影領域と一致する領域を非表示とした非表示処理画像102を作成して、画像表示面に表示させている。しかし、現実物体70の垂直投影領域の全域を非表示とする表示方法に限らず、垂直投影領域の少なくとも一部を非表示とすれば、手指の全域にレイアウト画像が投影されている場合と比較して、違和感を低減することができる。
第2の表示方法として図7に示すように、現実物体70の垂直投影領域の輪郭121より所定長内側の領域のみを非表示とする処理対象領域画像120を作成し、レイアウト画像100と重畳して、非表示処理画像122としてもよい。所定長は、輪郭121より内側であって、輪郭121から10mm以内とすることが好ましい。この場合、使用者は、図8に示す視野像124のように、現実物体70である自分の手指の輪郭に沿った縁部において、第1の画像が一部透過して視認される。しかし手指の中央には第1の画像が重ならないため、手指の全域に第1の画像が重なって視認される場合と比較して、違和感なく筆記作業を行うことができる。また、手の動きに画像処理が十分に追随しない場合や、視る位置がずれた場合に、非表示領域と手の垂直投影領域とが一部ずれた場合であっても、レイアウト画像の情報の欠落を防ぐことができる。
本発明においては、画像表示制御部35において、非表示処理される領域は現実物体70の筆記面への垂直投影領域の輪郭およびそれより内側のみであって、垂直投影領域の輪郭を超えた範囲には非表示処理を行わない。しかしながら、画像表示処理のずれ、視認方向のずれによって非表示処理領域が、現実物体の垂直投影領域からずれて表示される場合はある。筆記作業の効率に影響を与えない程度のずれにより投影画像の一部に非表示領域が視認されるのは許容されるが、手指などの現実物体70の陰を形成するための陰影処理は本発明における非表示処理の範囲に含まない。現実物体の垂直投影領域の輪郭を超えた広い範囲に非表示処理を行うと、表示させたいレイアウト画像の情報が欠損する。本開示のように、垂直投影領域より内側のみに非表示処理であれば、レイアウト画像における実物体と重なる領域以外の情報に欠落が生じることがなく、好ましい
画像表示制御部35は、さらに、第2の画像を非表示処理画像122にオーバーレイして、画像表示面32に表示させるように構成されていてもよい。第2の画像は、レイアウト画像100よりも小さい表示面積の画像であり、例えば、記入領域に記載すべき内容について示すガイド画像である。
第2の画像として「宛名」と示すガイド画像130をオーバーレイ表示させる第3の表示方法について場合について図9を参照して説明する。
レイアウト画像100に、処理対象領域画像120を重畳させて、現実物体70の垂直投影領域と一致する領域を非表示とした非表示処理画像102を、第1の表示方法の場合と同様にして作成する。その非表示処理画像102の上層のレイヤーにガイド画像130をオーバーレイさせたオーバーレイ画像132を画像表示面32に表示させる。
上記作用により、図10の下図に示す視野像134のように、使用者は、オーバーレイ画像132中のガイド画像130が、自分の手指76に一部重なるように視認され、一方で、自分の手指76を透過してレイアウト画像の虚像を視認することなく、手指76の奥の表示面12にのみレイアウト画像を視認することができる。この場合も、使用者は筆記面12と一致して表示される非表示処理画像102の上に手指76が位置しているように認識できる。さらに、ガイド画像130により、記入すべき内容がすぐにわかるため、作業を効率よく進めることができる。なお、ガイド画像130は、非表示領域と重ならない領域に表示されていてもよい。しかし、ガイド画像130が手と重なり、手の手前に存在するように認識されることによりレイアウト画像を含む非表示処理画像102が手の奥に存在するように使用者に感じさせることができ、違和感を低減する効果がより高まるため好ましい。
さらに、図11に示すように、ガイド画像130の全域を非表示領域と重ねて表示するようにしてもよい。レイアウト画像にガイド画像130がオーバーレイされないため、現実物体70の奥にレイアウト画像が位置し、ガイド画像130が現実物体70の手前に位置するように知覚しやすくなり、奥行き知覚の違和感をさらに解消することができる。
なお、はがき表書き用のガイド画像130としては、「宛名」の他、例えば、「住所」「郵便番号」などが挙げられる。これらの画像データも画像保持部37に記憶されており、演算部38は、筆記面の手の位置に応じて適切な画像データを読み出し、表示させることができる。
画像表示制御部35は、中央処理装置(CPU:Central Processing Unit)、主記憶装置、補助記憶装置、入出力インターフェースおよび通信インターフェースなどの周知のハードウェア構成を備えたコンピュータに実装されている。コンピュータには上述の画像表示制御のための所定のプログラムがインストールされており、このプログラムを実行することにより、筆記面上における現実物体の検出を物***置センサに実行させ、物***置センサからの情報から、現実物体の輪郭情報を求める演算処理、輪郭情報に基づいてレイアウト画像の所定の領域を非表示とする画像処理および画像表示面に画像を表示させることができる。
上記実施形態においては、画像表示制御部35が画像提示体30に備えられている。画像提示体30は、例えば、タブレット型コンピュータである。しかしながら、画像提示体30はフラットパネルディスプレイから構成されていてもよく、その場合、画像表示制御部が実装された別体のコンピュータと、無線もしくは有線で接続されていてもよい。本実施形態においては、タブレット型コンピュータに備えられたカメラを物***置センサとして用いたが、物***置センサは、画像提示体30とは別途に備えられていてもよい。
筆記面12に投影させる第1の画像としては、例えば、上述したはがきの宛名面(表面)の他、手紙やはがきの文面(裏面)のレイアウトやマス目、達筆のナビゲート、お絵かきのフレーム、および役所や銀行などにおける記入書類のレイアウトなどが挙げられる。
なお、本発明の一実施形態の自筆支援装置は、書面作成の支援の他、手術支援、手術教育、組立作業支援、実験作業支援などにも適用可能である。
以下、実施例および比較例について説明する。
実施例および比較例では、図1に示す装置において、物***置センサはカメラとし、位置センサから筆記面までの距離を約300mmとした。筆記面にはがきの宛名書き面が位置されており、第1の画像として住所、宛名などの記入位置を示すレイアウト画像を用いた。物体である使用者の手(の甲)の高さは約50mmとした。カメラで取得したRGB情報から手の存在位置を決定した。各実施例および比較例は自筆支援装置内の画像表示制御部における作用が異なる。
[実施例1]
上記実施形態の第1の表示方法に沿って、レイアウト画像の、現実物体である手および筆記具の垂直投影領域に対応する領域のみ全て非表示処理された非表示処理画像を画像表示面に表示させた。これにより、非表示処理画像の虚像であって、現実物体の垂直投影領域の内側が非表示とされた像が筆記面に投影された(図6参照)。
[実施例2]
上記実施形態の第2の表示方法に沿って、レイアウト画像の、手および筆記具の垂直投影領域に対応する領域の輪郭よりも内側の領域のみ非表示処理された非表示処理画像を画像表示面に表示させた。これにより、非表示処理画像の虚像であって、手および筆記具の垂直投影領域の輪郭から10mm内側のみを非表示とされた像が筆記面に投影された(図8参照)。
[実施例3]
上記実施形態の第3の表示方法に沿って、実施例1と同様の非表示処理画像に、筆記面における手の位置に応じて、筆記すべき内容を表示するガイド画像を、オーバーレイさせて表示させた。これにより、ガイド画像の虚像が筆記面に投影された。ここでは、ガイド画像は、レイアウト画像上であっても手に重ならない位置に投影されるようにした。
[実施例4]
実施例3において、ガイド画像の虚像が手に一部重なって投影されるようにした(図10参照)。
[実施例5]
実施例3において、第2の画像の虚像の全域が手に重なって投影されるようにした(図11参照)。
[比較例1]
筆記面12上に投影されるレイアウト画像100に対して非表示処理することなく画像表示面に表示させることにより、図12に示すように、レイアウト画像が手に重ねて投影されるようにした。この場合、使用者による視野像140において、レイアウト画像100が現実物体70である手を透けて見えた。
[比較例2]
レイアウト画像の、手および筆記具の垂直投影領域よりに対応する領域の輪郭よりも広い領域150を非表示処理した非表示処理画像152を作成し、画像表示面に表示させた。これにより、図13に示すように、非表示処理画像152の虚像であって、現実物体の垂直投影領域よりも広い領域が非表示とされた像が筆記面に投影された。この場合、使用者による視野像160において、非表示処理画像152が使用者の手指76の奥に視認され、手指76の周りに非表示処理により画像が表示されていない領域が手指76より広い範囲に広がっており、手指76の影が表示されているように観察された。
以上の実施例1〜5および比較例1、2の表示方法において、使用者によるユーザビリティを比較した。20人に、ランダムな順に各例の表示方法による表示をおこなった状態で、はがき表面に宛名を筆記させる試験を行い、以下の評価を行った。
<宛名記入するのにかかった時間>
筆記開始から終了までの時間(秒)を測定した。
<宛名の中心からのずれ量>
宛名字重心のレイアウト中心から横方向にずれた量の和(mm)を求めた。
<宛名を記入する体験の自然さ>
不自然1から自然5の5段階で被験者にアンケートを取った。官能評価である。
各例についての評価結果を表1に示す。

図1に示すように、比較例1に比べて実施例1〜5は、奥行の違和感が少ないという評価結果が得られた。比較例2では、奥行の違和感はないが、中心からのずれ量が実施例と比較して大きかった。これは、レイアウトの一部情報の欠落による影響と考えられる。

Claims (6)

  1. ハーフミラーと、前記ハーフミラーのミラー面側に位置する画像表示面と、前記ハーフミラーの前記ミラー面を挟んで、前記画像表示面と対向して位置する筆記面とを備え、前記画像表示面に表示された画像の虚像が、前記筆記面に投影される自筆支援装置であって、
    第1の画像を前記画像表示面に表示させる画像表示制御部を備え、
    前記筆記面上に現実物体が挿入された場合に、前記画像表示制御部が、前記第1の画像の、前記現実物体の前記筆記面への垂直投影領域に対応する領域の少なくとも一部領域が非表示処理された非表示処理画像を前記画像表示面に表示させることにより、前記非表示処理画像の虚像であって、前記現実物体の前記垂直投影領域の内側の少なくとも一部が非表示とされた像が前記筆記面に投影される自筆支援装置。
  2. 前記画像表示制御部が、前記筆記面上における前記現実物体を検出する物***置センサを備え、前記物***置センサにより取得された前記現実物体の画像データから前記非表示処理画像を生成し前記画像表示面に表示させる請求項1記載の自筆支援装置。
  3. 前記画像表示制御部が、前記非表示処理画像として、前記第1の画像の、前記現実物体の前記筆記面への垂直投影領域に対応する領域から所定長の位置より内側の領域のみが非表示処理された画像を前記画像表示面に表示させる請求項1または2記載の自筆支援装置。
  4. 前記画像表示制御部が、前記第1の画像よりも表示面積が小さい第2の画像を、前記非表示処理画像にオーバーレイして、前記画像表示面に表示させる請求項1から3いずれか1項に記載の自筆支援装置。
  5. 前記画像表示制御部が、前記第2の画像を、前記非表示処理画像の、前記非表示処理された前記一部領域に、少なくとも一部重ねて前記画像表示面に表示させる請求項4に記載の自筆支援装置。
  6. 前記画像表示制御部が、前記第2の画像の全域を、前記一部領域に重ねて表示させる請求項5に記載の自筆支援装置。
JP2019544411A 2017-09-27 2018-08-17 自筆支援装置 Active JP6815528B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017187091 2017-09-27
JP2017187091 2017-09-27
PCT/JP2018/030564 WO2019064987A1 (ja) 2017-09-27 2018-08-17 自筆支援装置

Publications (2)

Publication Number Publication Date
JPWO2019064987A1 JPWO2019064987A1 (ja) 2020-02-27
JP6815528B2 true JP6815528B2 (ja) 2021-01-20

Family

ID=65901184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019544411A Active JP6815528B2 (ja) 2017-09-27 2018-08-17 自筆支援装置

Country Status (3)

Country Link
US (1) US10852767B2 (ja)
JP (1) JP6815528B2 (ja)
WO (1) WO2019064987A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6884233B2 (ja) * 2018-01-23 2021-06-09 富士フイルム株式会社 自筆支援装置、自筆支援方法およびプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2387021A (en) * 1945-10-16 Reproducing device
US1111608A (en) * 1911-08-24 1914-09-22 Walter Thomas Smith O'brien Sketching apparatus.
US1420491A (en) * 1921-01-06 1922-06-20 Louis F Morse Copying apparatus
US1518680A (en) * 1923-07-31 1924-12-09 William D Arnot Reflectograph
US4464118A (en) * 1980-06-19 1984-08-07 Texas Instruments Incorporated Didactic device to improve penmanship and drawing skills
US5671091A (en) * 1994-04-15 1997-09-23 The Walt Disney Company Virtual easel
JP3009056U (ja) * 1994-09-16 1995-03-28 株式会社トミー 転写装置
FR2817798B1 (fr) * 2000-12-12 2003-09-05 Heller Sa Dispositif d'aide au dessin
US6579099B1 (en) * 2002-01-14 2003-06-17 Robert Lewis Pipes, Jr. Freehand drawing training and guiding device
US7009100B2 (en) 2002-08-20 2006-03-07 Casio Computer Co., Ltd. Performance instruction apparatus and performance instruction program used in the performance instruction apparatus
JP3968651B2 (ja) * 2002-09-19 2007-08-29 カシオ計算機株式会社 演奏教習装置
JP4634975B2 (ja) 2006-07-21 2011-02-16 日本電信電話株式会社 視触覚融合提示装置
US7775799B2 (en) * 2006-11-24 2010-08-17 Pascal Reiber Glare reduction demonstrator
US8773464B2 (en) 2010-09-15 2014-07-08 Sharp Laboratories Of America, Inc. Methods and systems for collaborative-writing-surface image formation
US9521276B2 (en) * 2011-08-02 2016-12-13 Hewlett-Packard Development Company, L.P. Portable projection capture device
WO2014188367A1 (en) * 2013-05-22 2014-11-27 Van Heerden Lex A drawing aid and a method of drawing an object
WO2016121362A1 (ja) * 2015-01-29 2016-08-04 富士フイルム株式会社 自筆支援装置
JP6596883B2 (ja) 2015-03-31 2019-10-30 ソニー株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム

Also Published As

Publication number Publication date
US20200183453A1 (en) 2020-06-11
US10852767B2 (en) 2020-12-01
JPWO2019064987A1 (ja) 2020-02-27
WO2019064987A1 (ja) 2019-04-04

Similar Documents

Publication Publication Date Title
Gruenefeld et al. Eyesee360: Designing a visualization technique for out-of-view objects in head-mounted augmented reality
US9704285B2 (en) Detection of partially obscured objects in three dimensional stereoscopic scenes
EP3311249B1 (en) Three-dimensional user input
US10295826B2 (en) Shape recognition device, shape recognition program, and shape recognition method
US6559813B1 (en) Selective real image obstruction in a virtual reality display apparatus and method
US10891800B1 (en) Providing features of an electronic product in an augmented reality environment
CN112041788B (zh) 使用眼睛注视来选择文本输入字段
JP2012252627A (ja) プログラム、情報記憶媒体及び画像生成システム
WO2018204738A1 (en) Head tracking based depth fusion
US10171800B2 (en) Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance
US10216357B2 (en) Apparatus and method for controlling the apparatus
JP2004354540A (ja) 立体映像表示装置及びプログラム
JP2010259017A (ja) 表示装置、表示方法、および表示プログラム
JP6815528B2 (ja) 自筆支援装置
JP6884233B2 (ja) 自筆支援装置、自筆支援方法およびプログラム
KR101649660B1 (ko) 3d 객체에 대한 시각적 안정감을 증가시키는 단말 및 단말의 제어방법
US20170302904A1 (en) Input/output device, input/output program, and input/output method
KR102542641B1 (ko) 핸드 트래킹을 이용한 재활 훈련 장치 및 작동 방법
EP4328783A1 (en) An apparatus, method, computer program for displaying content to a user
JP2020118871A (ja) 視線表示方法及び視線表示装置
KR20120063349A (ko) 3d 입체 카툰 변환 방법 및 시스템, 이를 위한 기록매체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201222

R150 Certificate of patent or registration of utility model

Ref document number: 6815528

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250