JP7180323B2 - 表示装置、表示方法および表示システム - Google Patents

表示装置、表示方法および表示システム Download PDF

Info

Publication number
JP7180323B2
JP7180323B2 JP2018223303A JP2018223303A JP7180323B2 JP 7180323 B2 JP7180323 B2 JP 7180323B2 JP 2018223303 A JP2018223303 A JP 2018223303A JP 2018223303 A JP2018223303 A JP 2018223303A JP 7180323 B2 JP7180323 B2 JP 7180323B2
Authority
JP
Japan
Prior art keywords
image
unit
sheet
characters
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018223303A
Other languages
English (en)
Other versions
JP2020086264A (ja
Inventor
拓矢 小辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2018223303A priority Critical patent/JP7180323B2/ja
Priority to US16/695,546 priority patent/US20200174555A1/en
Publication of JP2020086264A publication Critical patent/JP2020086264A/ja
Application granted granted Critical
Publication of JP7180323B2 publication Critical patent/JP7180323B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/30—Control of display attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/174—Form filling; Merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、表示装置、表示方法および表示システムに関する。
従来、申請書又は契約書等の文書への記入時における記入ミスを減らすために、ユーザーの参考となる情報を、文書の記入欄の近傍に表示する技術が開示されている（例えば、特許文献１参照）。
特開２０１５－１１５８６号公報
しかしながら、特許文献１に記載の技術は、見本の文書があることが前提となっていた。このため、見本の文書がない寄せ書き等にメッセージを手書きする場合など、自由度の高い文字列を所定の範囲内に記載する場合においては、記載ミスを抑制することはできなかった。すなわち、所定の範囲内に全ての文字が入り切らなかったり、後半の文字が小さくなったりすることが生じていた。
本発明は、上記課題に鑑みてなされたものであり、ユーザーが、所望の文字列を所定の範囲内に手書きする場合でも、記載ミスを抑制することができる表示装置、表示方法および表示システムを提供することを目的としている。
本発明の表示装置は、表示部と、生成部と、制御部とを備える。前記表示部は、画像を表示する。前記生成部は、シートに記載される文字の位置を規定する補助画像を生成する。前記制御部は、前記シートに対応させて前記補助画像を表示するように、前記表示部を制御する。
本発明の表示方法は、表示部を備える表示装置の表示方法であって、シートに記載される文字の位置を規定する補助画像を生成するステップと、前記シートに対応させて前記補助画像を表示するように、前記表示部を制御するステップとを含む。
本発明の表示システムは、表示装置と、画像形成装置とを含む表示システムであって、前記表示装置は、表示部と、生成部と、制御部と、撮像部と、送信部とを備える。前記表示部は、画像を表示する。前記生成部は、シートに記載される文字の位置を規定する補助画像を生成する。前記制御部は、前記シートに対応させて前記補助画像を表示するように、前記表示部を制御する。前記撮像部は、前記文字が記載されたシートを撮像して、前記シートの画像を示す画像データを生成する。前記送信部は、前記画像データを前記画像形成装置に送信する。前記画像形成装置は、受信部と、画像形成部とを備える。前記受信部は、前記画像データを受信する。前記画像形成部は、受信した前記画像データに基づいて、画像を形成する。
本発明の表示装置、表示方法および表示システムによれば、ユーザーが所望の文字列を所定の範囲内に手書きする場合でも、記載ミスを抑制することができる。
本発明の実施形態に係る表示装置の機能の概略を示す図である。 表示装置の表示部に表示される補助画像の拡大図である。 表示装置の構成を示すブロック図である。 第１実施例の第１補助画像を示す図である。 （ａ）は、第１実施例の表示装置の一機能を示す図である。（ｂ）は、ユーザーが補助画像を利用して手書き文字を入力する様子を示す図である。 （ａ）は、第１実施例の表示装置の他の機能を示す図である。（ｂ）は、第１実施例の第２補助画像を示す図である。 表示装置の手書きアシスト処理を示すフローチャートである。 第１実施例の第１アシスト処理を示すフローチャートである。 第２実施例の第２アシスト処理を示すフローチャートである。 第２実施例の補助画像のサイズを変更する様子と、注意喚起メッセージの表示例とを示す図である。 第２実施例の次に記載する文字の表示例を示す図である。 変形例の表示システムの構成を示す概略図である。
以下、本発明の実施形態について、図面（図１～図１２）を参照しながら説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。
まず、図１および図２を参照して、本実施形態に係る表示装置１の機能の概略について説明する。図１は、表示装置１の機能の概略を示す図である。表示装置１は、記録媒体であるシートに手書きするユーザーを支援する。本実施形態では、シートは、手書きが可能な平坦状の領域を有している。なお、シートは、球面を含んでいてもよい。シートの材質は、紙、布、ゴム又はプラスチック等である。表示装置１は、例えば、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス、又はＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）である。
図１に示すように、表示装置１は、表示部１２と、生成部１５１１と、制御部１５１９とを備える。
表示部１２は、画像を表示する。具体的には、表示部１２は、左右１対で構成され、補助画像１２１を表示する。本実施形態では、表示部１２には、生成部１５１１で生成された画像が投影される。表示部１２は、カラー画像を表示する透明液晶ディスプレイを含む。なお、表示部１２は、透明液晶ディスプレイに限定されない。表示部１２は、有機エレクトロルミネッセンス（有機ＥＬ）ディスプレイを含んでもよい。
生成部１５１１は、補助画像１２１を生成する。補助画像１２１は、用紙４に記載される文字の位置を規定する。具体的には、補助画像１２１は、用紙４に対応付けて表示される画像であり、手書き文字の位置を１文字単位で明示する。補助画像１２１は、例えば、原稿用紙のようなマス目を含む線図で構成される。生成された補助画像１２１は、制御部１５１９によって、１対の表示部１２に各々表示される。なお、用紙４は、「シート」の一例である。
制御部１５１９は、用紙４に対応させて補助画像１２１を表示するように、表示部１２を制御する。具体的には、制御部１５１９は、用紙４の位置に対応させて補助画像１２１を１対の表示部１２にそれぞれ表示するように、表示部１２を制御する。
補助画像１２１は、表示部１２のうち、用紙４の輪郭４１が投影された輪郭５１の右下の位置に表示される。したがって、表示装置１を装着するユーザーは、表示部１２を通して外界の用紙４と、補助画像１２１とを視認することが可能である。なお、「外界」とは、ユーザーの周辺環境である。以下、用紙４を含むように用紙４の周辺を撮影した場合の画像を「周辺画像」という。
更に、図１は、ユーザーの視点と、表示装置１と、用紙４との位置関係を示している。すなわち、図１は、表示装置１を装着したユーザーの視点ＥＬおよび視点ＥＲと、表示装置１の１対の表示部１２と、用紙４との位置関係を示している。視点ＥＬは、ユーザーの左目の視点である。視点ＥＲは、ユーザーの右目の視点である。
用紙４の外周を示す輪郭４１は、表示装置１の表示部１２に輪郭５１として投影される。更に、表示部１２には、輪郭５１と重畳するように、補助画像１２１が表示される。本実施形態では、補助画像１２１は、輪郭５１の右下に表示される。ユーザーは、視点ＥＬと視点ＥＲとによって、表示部１２に重畳して表示されている１対の輪郭５１と、１対の補助画像１２１とを視認する。
図２は、表示装置１の表示部１２に表示される補助画像１２１の拡大図である。図２に示すように、補助画像１２１は、輪郭５１の右下に、用紙４と重畳させて表示される。これにより、ユーザーは、補助画像１２１が重畳されている用紙４を見ながら、用紙４に１行当たり１０文字ずつ、４行の手書き文字を記載することができる。
次に、図３を参照して、表示装置１の構成について詳細に説明する。図３は、表示装置１の構成を示すブロック図である。図３に示すように、表示装置１は、通信部１１と、表示部１２と、撮像部１３と、仮想入力部１４と、装置制御部１５とを備える。
通信部１１は、装置制御部１５の指示に応じて、他の電子機器との間で、各種のデータを送受信する。具体的には、通信部１１は、スマートフォン等の通信端末から音声データを受信する。更に、通信部１１は、図１２を参照して後述する画像形成装置３に画像データを送信する。画像形成装置３は、カラー複合機（以下、カラー複合機を「ＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）」とも称する。）である。通信部１１は、例えば、通信インターフェイスである。なお、通信部１１は、「第２入力部」の一例である。
表示部１２は、装置制御部１５の指示に応じて、画像を表示する。具体的には、表示部１２は、補助画像１２１、および図５（ａ）を参照して後述する仮想入力画面１２２を表示する。
表示部１２には、例えば、装置制御部１５が備える投影部（図示せず）から投影された補助画像１２１と、仮想入力画面１２２とが表示される。表示部１２は、１対のレンズと、１対の偏光シャッターとを含む透過型の表示ユニットである。ここで、「透過型の表示ユニット」とは、外界の光を透過させつつ、撮像部１３が撮影した映像と、装置制御部１５が生成した画像とを表示する表示ユニットをいう。偏光シャッターは、レンズの全面に貼り付けられている。偏光シャッターは、液晶表示素子で構成され、外界の光を透過させる開状態と、外界の光を透過させない閉状態とを切り換えることができる。偏光シャッターの開状態と閉状態とは、液晶表示素子の液晶層に印加する電圧を制御することによって切り換える。
なお、表示部は、非透過型の表示ユニットであってもよい。ここで、「非透過型の表示ユニット」とは、外界の光を透過させずに、撮像部１３が撮影した映像と、装置制御部１５が生成した画像とを表示する表示ユニットをいう。
撮像部１３は、用紙４を撮影して用紙４の画像を示す用紙画像データを生成する。具体的には、撮像部１３は、装置制御部１５の指示に応じて、用紙４を撮影して、用紙画像データを生成する。更に、撮像部１３は、装置制御部１５の指示に応じて、用紙４上を移動する指を撮影して指画像を示す指画像データを生成する。指を撮影する際、撮像部１３は、用紙４の全体を含むように撮影してもよい。また、撮像部１３は、装置制御部１５の指示に応じて、用紙４を含むように用紙４の周辺を撮影して周辺画像を示す周辺画像データを生成してもよい。なお、用紙画像データは、「シート画像データ」の一例である。
用紙画像データは、用紙４の領域を特定するために、装置制御部１５によって使用される。更に、用紙画像データは、用紙４に補助線があるか否かを判定するために、装置制御部１５によって使用される。また、用紙画像データは、用紙４の色を特定するために、装置制御部１５によって使用される。
指画像データは、ユーザーの指の軌跡を特定するために、装置制御部１５によって使用される。更に、指画像データは、次に記載される文字の位置を特定するために、装置制御部１５によって使用される。
周辺画像データは、用紙４に対応させて補助画像１２１を非透過型の表示部に表示するために、装置制御部１５によって使用される。
撮像部１３は、表示装置１の必須の構成ではない。例えば、用紙４と、表示装置１とが固定されており、補助画像１２１を用紙４の特定の位置に表示させる場合は、撮像部１３による撮影は不要である。
撮像部１３は、例えば、電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：ＣＣＤ）イメージセンサー、又は相補型ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＣＭＯＳ）イメージセンサーを含む。
仮想入力部１４は、ユーザーのジェスチャー動作に基づいて、指示を受け付ける。本実施形態では、仮想入力部１４は、指のジェスチャー動作に基づいて、ユーザーから指示を受け付ける。仮想入力部１４は、少なくとも文字数を受け付ける。ここで、「文字数」とは、手書きする文字の総数をいう。
更に、仮想入力部１４は、文字を記載させる行数又は列数を受け付ける。ここで、「行数」とは、手書きする文章のｙ方向に並ぶ文字列の数をいう。また、「列数」とは、手書きする文章のｘ方向に並ぶ文字列の数をいう。また、仮想入力部１４は、図５（ａ）を参照して後述する指定領域の指示を受け付ける。「指定領域」とは、用紙４に重畳するように補助画像１２１を表示させる位置を規定するための領域をいう。なお、仮想入力部１４は、「第１入力部」の一例である。
装置制御部１５は、制御プログラムに基づいて、表示装置１の各構成部分の動作を制御する。装置制御部１５は、処理部１５１と、記憶部１５２とを備える。処理部１５１は、例えば、プロセッサーである。プロセッサーは、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。更に、装置制御部１５は、補助画像１２１および仮想入力画面１２２を表示部１２に投影する投影部（図示せず）を備えてもよい。
処理部１５１は、記憶部１５２に記憶された制御プログラムを実行することによって、表示装置１の各構成部分の動作を制御する。本実施形態では、処理部１５１は、通信部１１が受信した音声データを記憶部１５２に記憶させる。更に、処理部１５１は、音声データが示す音声から文字を認識し、文字を示す文字データを生成する。
記憶部１５２は、各種のデータおよび制御プログラムを記憶する。記憶部１５２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、およびソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）のうち、少なくとも１つを含む。本実施形態では、記憶部１５２は、音声データを記憶する。更に、記憶部１５２は、処理部１５１で認識された文字の文字データを記憶する。
処理部１５１は、生成部１５１１と、認識部１５１２と、導出部１５１３と、第１特定部１５１４と、第２特定部１５１５と、第３特定部１５１６と、第４特定部１５１７と、判定部１５１８と、制御部１５１９とを含む。本実施形態において、処理部１５１が記憶部１５２に格納された制御プログラムを実行することによって、制御プログラムが、生成部１５１１と、認識部１５１２と、導出部１５１３と、第１特定部１５１４と、第２特定部１５１５と、第３特定部１５１６と、第４特定部１５１７と、判定部１５１８と、制御部１５１９との機能を実現する。
本実施形態では、生成部１５１１は、ユーザーから受け付けた文字数に対応する、１又は複数の文字の位置を規定する補助画像１２１を生成する。更に、生成部１５１１は、ユーザーから受け付けた文字数と、行数又は列数とに対応する、１又は複数の文字の位置を規定する補助画像１２１を生成する。また、生成部１５１１は、認識部１５１２で計数された文字数と、導出部１５１３で導出された行数又は列数とに対応する、１又は複数の文字の位置を規定する補助画像１２１を生成してもよい。
生成部１５１１は、用紙４の領域のうち所定の領域に補助画像１２１を生成する。具体的には、生成部１５１１は、ユーザーの指の軌跡によって規定される、用紙４のうちの一部の領域に対応させて補助画像１２１を生成する。本実施形態では、生成部１５１１が生成する補助画像１２１の色は、「赤」である。更に、生成部１５１１は、用紙４の画像の色と、補助画像１２１の色とが近似すると判定された場合、補助画像１２１の色を用紙４の色の補色に変更する。例えば、用紙４の色が「赤色」で補助画像１２１の色も「赤色」の場合、生成部１５１１は、補助画像１２１の色を、赤色の補色である「緑色」に変更する。補助画像１２１の色を用紙４の色の補色に変更することにより、ユーザーは、手書きで記載すべき文字の位置を、より明確に視認することが可能になる。また、生成部１５１１は、図５（ａ）を参照して後述する仮想入力画面１２２を生成する。
認識部１５１２は、音声データが示す音声から文字を認識する。具体的には、認識部１５１２は、通信部１１等を介して取得した音声データが示す音声から文字を認識する。更に、認識部１５１２は、認識した文字の文字数を計数する。
導出部１５１３は、認識部１５１２で計数された文字数に基づいて、行数又は列数を導出する。具体的には、導出部１５１３は、予め１行又は１列当たりの文字数を「１０文字」と設定しておき、１０文字を越えた場合に、行数又は列数を１つ増加させて、行数又は列数を導出する。
第１特定部１５１４は、用紙画像データに基づいて、少なくとも用紙４の領域を特定する。更に、第１特定部１５１４は、用紙４のうちの一部の領域に対応する用紙画像データに基づいて、第１の方向に描画された補助線があるか否かを判定する。具体的には、第１特定部１５１４は、用紙４のうちの指定領域１２０で指定された一部の領域に対応する用紙画像データに基づいて、第１方向に描画された１本又は複数本の補助線を特定する。そして、第１特定部１５１４は、特定した補助線に基づいて、手書きするメッセージの行数を特定する。ここで、「補助線」とは、用紙４の特定の方向に描画された１本又は複数本の線をいう。補助線については、図６（ａ）を参照して後述する。
第２特定部１５１５は、撮像部１３で生成された指画像データに基づいて、指の軌跡を特定する。例えば、第２特定部１５１５は、用紙４の全体を含む指画像データに基づいて、用紙４の輪郭４１のｘ方向の長さおよびｙ方向の長さから、単位時間の経過毎に、用紙４の上に位置する指の相対位置を算出することによって、指の軌跡を特定する。
第３特定部１５１６は、指画像データと、補助画像１２１を示す補助画像データとに基づいて、次に記載される文字の位置を特定する。具体的には、第３特定部１５１６は、指画像データと、補助画像１２１を示す補助画像データとに基づいて、ペンを持つ指の位置と、その指の位置に対応する、次に記載される文字の位置とを特定する。
第４特定部１５１７は、用紙画像データと、補助画像１２１を示す補助画像データとに基づいて、用紙４の画像の色と、補助画像１２１の色とをそれぞれ特定する。
判定部１５１８は、用紙４の画像の色と補助画像１２１の色とが近似するか否かを判定する。
制御部１５１９は、図１を参照して説明したように、用紙４に対応させて補助画像１２１を表示するように表示部１２を制御する。更に、制御部１５１９は、第３特定部１５１６で特定された文字を、次に記載される文字として表示するように、表示部１２を制御する。また、制御部１５１９は、仮想入力画面１２２を表示するように、表示部１２を制御する。また、制御部１５１９は、表示部が非透過型の場合に、周辺画像の中の用紙４に対応させて、補助画像１２１を表示するように、表示部１２を制御する。
（第１実施例）
次に、図１～図８を参照して、本実施形態に係る第１実施例について説明する。
図４は、第１実施例の第１補助画像１２１Ａを示す図である。図４に示すように、表示装置１は、表示部１２と撮像部１３とを備える。表示部１２には、第１補助画像１２１Ａが表示されている。更に、ユーザーは、表示部１２を通して、用紙４の輪郭４１が投影された輪郭５１を視認することができる。すなわち、表示装置１を装着したユーザーは、用紙４の右上の一角の領域に、手書きを支援する第１補助画像１２１Ａを視認する。
撮像部１３は、図３を参照して上述したように、用紙画像データと指画像データとを生成する。更に、撮像部１３は、周辺画像データを生成してもよい。
図５（ａ）は、第１実施例の表示装置１の機能を示す図である。図５（ａ）は、表示装置１を装着したユーザーの視界の様子の一例を示す。具体的には、図５（ａ）は、用紙４の輪郭４１が投影された輪郭５１と、表示部１２の偏光シャッターに投影される画像とを示す。表示部１２の偏光シャッターに投影される画像は、指定領域１２０Ａと、第１補助画像１２１Ａと、仮想入力画面１２２とである。なお、以下において、指定領域１２０は、指定領域１２０Ａおよび指定領域１２０Ｂの総称である。また、補助画像１２１は、第１補助画像１２１Ａ、第２補助画像１２１Ｂおよび第３補助画像１２１Ｃの総称である。
指定領域１２０は、用紙４に手書き文字を記載するユーザーが、第１補助画像１２１Ａを表示させる位置を示す。仮想入力部１４は、例えば、用紙４の上面におけるユーザーの指でなぞる動きを検出して、指定領域１２０を決定する。ユーザーによって指示された指定領域１２０は、表示部１２の偏光シャッターに投影されて表示される。以下、表示部１２の偏光シャッターに投影された表示を「投影表示」という。指定領域１２０は、例えば黒い色の線で投影表示される。
制御部１５１９は、ユーザーによって指示された指定領域１２０の位置に第１補助画像１２１Ａを表示する。
仮想入力画面１２２は、生成部１５１１が生成する画面である。仮想入力画面１２２は、ユーザーから必要な情報を受け付けるために投影表示される画面である。具体的には、仮想入力画面１２２は、仮想キーボード１２２１と、文字数欄１２２２と、行数欄１２２３と、閉じるキー１２２４と、ＯＫキー１２２５とを含む。
仮想キーボード１２２１は、ユーザーから数を受け付ける。
文字数欄１２２２は、ユーザーから補助画像１２１の文字数を受け付ける。行数欄１２２３は、ユーザーから補助画像１２１の行数を受け付ける。
閉じるキー１２２４は、ユーザーの操作により、仮想入力画面１２２の表示を終了する。ＯＫキー１２２５は、ユーザーの操作により、受け付けた文字数と行数とを確定させる。
図５（ｂ）は、ユーザーが補助画像１２１を利用して手書き文字を入力する様子を示す図である。具体的には、図５（ｂ）は、表示装置１を装着したユーザーが、補助画像１２１を利用しながら、ペン５で用紙４に手書き文字を記載している様子を示す。図５（ｂ）に示すように、ユーザーは、第１補助画像１２１Ａが重畳して表示されている用紙４を見ながら、１文字ずつ手書き文字を用紙４に記載することができる。
図６（ａ）は、第１実施例の表示装置の他の機能を示す図である。図６（ａ）に示すように、用紙４は、４本の補助線７ａ～補助線７ｄを有している。４本の補助線７ａ～補助線７ｄは、それぞれｘ方向に延びる破線であり、ｙ方向に４本並んでいる。
更に、図６（ａ）は、指定領域１２０Ｂを示す。指定領域１２０Ｂは、仮想入力部１４が、ユーザーの指の動きに基づいて決定する。更に、第１特定部１５１４は、指定領域１２０に含まれる補助線の本数に基づいて、手書きするメッセージの行数を特定する。例えば、図６（ａ）の場合は、手書きするメッセージの行数は「４」である。
図６（ｂ）は、第１実施例の第２補助画像１２１Ｂを示す図である。ユーザーによって指定領域１２０Ｂが指示されると、生成部１５１１は、文字数と行数とに基づいて補助画像１２１を生成する。更に、生成部１５１１は、生成した第２補助画像１２１Ｂと、指定領域１２０Ｂの位置とに基づいて、補助画像１２１の表示位置を決定する。
図７は、表示装置１の手書きアシスト処理を示すフローチャートである。「手書きアシスト処理」は、所定の補助画像１２１を表示部１２に表示することによって、用紙４に手書きするユーザーをアシストする処理である。手書きアシスト処理は、ステップＳ２～ステップＳ２０によって実行される。
ステップＳ２：装置制御部１５は、音声録音に基づく手書きか否かを判定する。音声録音に基づく手書きであると装置制御部１５が判定した場合は（ステップＳ２でＹｅｓ）、処理はステップＳ１６に進む。音声録音に基づく手書きでないと装置制御部１５が判定した場合は（ステップＳ２でＮｏ）、処理はステップＳ４に進む。
ステップＳ４：装置制御部１５は、第１アシスト処理を実行する。処理はステップＳ６に進む。
ステップＳ６：判定部１５１８は、用紙４の色と補助画像１２１の色とが類似するか否かを判定する。用紙４の色と補助画像１２１の色とが類似すると判定部１５１８が判定した場合は（ステップＳ６でＹｅｓ）、処理はステップＳ８に進む。用紙４の色と補助画像１２１の色とが類似しないと判定部１５１８が判定した場合は（ステップＳ６でＮｏ）、処理はステップＳ１０に進む。
ステップＳ８：生成部１５１１は、補助画像１２１の色を用紙４の色の補色に変更する。処理はステップＳ１０に進む。
ステップＳ１０：表示部１２は、制御部１５１９の指示に応じて、補助画像１２１を表示する。処理はステップＳ１２に進む。
ステップＳ１２：撮像部１３は、ユーザーによる手書き文字の入力を撮影する。処理はステップＳ１４に進む。
ステップＳ１４：装置制御部１５は、ユーザーによる手書き文字の入力が終了したか否かを判定する。ユーザーによる手書き文字の入力が終了したと装置制御部１５が判定した場合は（ステップＳ１４でＹｅｓ）、処理はステップＳ１８に進む。ユーザーによる手書き文字の入力が終了しないと装置制御部１５が判定した場合は（ステップＳ１４でＮｏ）、処理はステップＳ１０に戻る。
ステップＳ１６：装置制御部１５は、第２アシスト処理を実行する。処理はステップＳ１８に進む。
ステップＳ１８：装置制御部１５は、ユーザーからの指示に基づき、手書きした文字をＭＦＰで印刷するか否かを判定する。手書きした文書をＭＦＰで印刷すると装置制御部１５が判定した場合は（ステップＳ１８でＹｅｓ）、処理はステップＳ２０に進む。手書きした文書をＭＦＰで印刷しないと装置制御部１５が判定した場合は（ステップＳ１８でＮｏ）、処理は終了する。
ステップＳ２０：通信部１１は、装置制御部１５の指示に応じて、手書きした文書を示す画像データをＭＦＰに送信する。処理は終了する。
図８は、図７を参照して上述した、手書きアシスト処理における「第１アシスト処理」のフローチャートである。第１アシスト処理は、ユーザーからの指示又は補助線を利用して、補助画像１２１を生成するための処理である。第１アシスト処理は、ステップＳ１０２～ステップＳ１１０によって実行される。
ステップＳ１０２：第１特定部１５１４は、用紙４に補助線があるか否かを判定する。用紙４に補助線があると第１特定部１５１４が判定した場合は（ステップＳ１０２でＹｅｓ）、処理はステップＳ１０６に進む。用紙４に補助線がないと第１特定部１５１４が判定した場合は（ステップＳ１０２でＮｏ）、処理はステップＳ１０４に進む。
ステップＳ１０４：仮想入力部１４は、ユーザーから、指定領域１２０、文字数および行数を受け付ける。処理はステップＳ１１０に進む。
ステップＳ１０６：第１特定部１５１４は、用紙４の補助線の行数又は列数を特定する。処理はステップＳ１０８に進む。
ステップＳ１０８：仮想入力部１４は、ユーザーから、指定領域１２０および文字数を受け付ける。処理はステップＳ１１０に進む。
ステップＳ１１０：生成部１５１１は、補助画像１２１を生成する。処理は終了する。
以上のように、第１実施例の表示装置１によれば、ユーザーは、用紙４に対応させて表示される補助画像１２１が規定する文字の位置に従って、手書き文字を記載することができる。したがって、ユーザーが所望の文字列を所定の範囲内に手書きする場合でも、記載ミスを抑制することができる。更に、予め補助線が記載された用紙４に手書きする場合、ユーザーは、行数又は列数の入力を省略することが可能となる。
（第２実施例）
次に、図３および図９～図１１を参照して、本実施形態に係る第２実施例について説明する。図９は、図７を参照して上述した手書きアシスト処理における「第２アシスト処理」を示すフローチャートである。「第２アシスト処理」は、録音された音声を利用して補助画像１２１を生成するための処理である。第２アシスト処理は、ステップＳ２０２～ステップＳ２２２によって実行される。
ステップＳ２０２：通信部１１は、通信端末から音声データを受信する。処理はステップＳ２０４に進む。
ステップＳ２０４：認識部１５１２は、音声データが示す音声に基づいて文字を認識する。処理はステップＳ２０６に進む。
ステップＳ２０６：認識部１５１２は、認識した文字の数を計数する。処理はステップＳ２０８に進む。
ステップＳ２０８：仮想入力部１４は、指定領域１２０を受け付ける。処理はステップＳ２１０に進む。
ステップＳ２１０：生成部１５１１は、補助画像１２１を生成する。処理はステップＳ２１２に進む。
ステップＳ２１２：表示部１２は、制御部１５１９の指示に応じて、補助画像１２１を表示する。処理はステップＳ２１４に進む。
ステップＳ２１４：装置制御部１５は、ユーザーからの指示に基づき、補助画像１２１のサイズ又は文字数を変更するか否かを判定する。補助画像１２１のサイズ又は文字数を変更すると装置制御部１５が判定した場合は（ステップＳ２１４でＹｅｓ）、処理はステップＳ２１６に進む。補助画像１２１のサイズ又は文字数を変更しないと装置制御部１５が判定した場合は（ステップＳ２１４でＮｏ）、処理はステップＳ２１８に進む。
ステップＳ２１６：生成部１５１１は、補助画像１２１のサイズ又は文字数を変更した補助画像１２１を生成する。処理はステップＳ２１２に進む。
ステップＳ２１８：制御部１５１９は、第１特定部１５１４で特定された次に記載する文字１２７（図１１）を表示部１２に表示する。図１１については後述する。処理はステップＳ２２０に進む。
ステップＳ２２０：撮像部１３は、ユーザーによる手書きの様子を撮影する。具体的には、撮像部１３は、ユーザーの指の位置を撮影し、指画像データを生成する。処理はステップＳ２２２に進む。
ステップＳ２２２：装置制御部１５は、ユーザーによる手書き文字の入力が終了したか否かを判定する。ユーザーによる手書き文字の入力が終了したと装置制御部１５が判定した場合は（ステップＳ２２２でＹｅｓ）、処理は終了する。ユーザーによる手書き文字の入力が終了しないと装置制御部１５が判定した場合は（ステップＳ２２２でＮｏ）、処理はステップＳ２１２に戻る。
図１０は、図９を参照して説明した第２実施例における「ステップＳ２１４の処理およびステップＳ２１６の処理」に関する補助画像のサイズを変更する様子と、注意喚起メッセージの表示例とを示す図である。図１０に示すように、表示部１２には、第３補助画像１２１Ｃと、注意喚起メッセージ画面１２３とが表示されている。
本実施例では、仮想入力部１４は、ユーザーから受け付けた指示に基づいて、第３補助画像１２１Ｃのサイズを拡大し、又は縮小する。
注意喚起メッセージ画面１２３は、注意喚起メッセージ１２４と、文字数欄１２５と、ＯＫボタン１２６とを含む。注意喚起メッセージ１２４は、表示された第３補助画像１２１Ｃのサイズで問題ないか、ユーザーに注意を促す。文字数欄１２５は、文字数の変更を受け付ける。ＯＫボタン１２６は、文字数欄１２５の文字数に基づいて、第３補助画像１２１Ｃを生成する。
図１１は、図９を参照して説明した第２実施例における「ステップＳ２１８の処理」に関する、次に記載する文字の表示例を示す図である。図１１に示すように、表示部１２には、第３補助画像１２１Ｃの枠外に文字「め」が表示されている。この文字「め」が、次に記載する文字１２７である。
以上のように、第２実施例の表示装置１によれば、ユーザーは、録音した音声を利用しながら手書き文字を記載することができる。すなわち、録音した音声から文字を認識し、認識された文字が、次に記載すべき文字の近傍に表示される。したがって、ユーザーは、録音された音声の文字を所定の範囲内に手書きする場合でも、記載ミスを抑制することが可能となる。
（変形例）
次に、図１～図３および図１２を参照して、変形例に係る表示システム１００について説明する。図１２は、変形例の表示システム１００の構成を示す概略図である。図１２に示すように、表示システム１００は、表示装置１と、端末装置２と、画像形成装置３とを有する。
端末装置２は、例えば、録音機能を有するスマートフォンである。端末装置２は、録音された音声を示す音声データを表示装置１に送信する。
表示装置１の通信部１１は、端末装置２から音声データを受信する。生成部１５１１は、音声データに基づいて、補助画像１２１を生成する。表示部１２は、装置制御部１５の指示に応じて補助画像１２１を表示し、ユーザーによる手書きを支援する。表示装置１の撮像部１３は、ユーザーによる手書き文字が記載された用紙４を撮影して、画像データを生成する。更に、表示装置１の通信部１１は、画像形成装置３に画像データを送信する。なお、通信部１１は、送信部の一例である。また、表示装置１は、端末装置２から音声データを取得する場合に限定されない。例えば、表示装置１は、音声データが記録された記録媒体を介して音声データを取得してもよい。
画像形成装置３は、通信部３１と、画像形成部３２と、制御部３３とを備える。通信部３１は、制御部３３の指示に応じて、表示装置１から送信された画像データを受信する。画像形成部３２は、制御部３３の指示に応じて、画像を形成する。制御部３３は、画像形成装置３の各構成部分の動作を制御する。なお、通信部３１は、「受信部」の一例である。
以上のように、変形例の表示装置１によれば、ユーザーは、端末装置２から受信した音声データに基づいて、記載ミスを抑制して手書きをすることができる。更に、手書きした内容を離れた画像形成装置３で印刷することが可能となる。
以上、図面を参照しながら本発明の実施形態について説明した。ただし、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である（例えば、下記に示す（１）～（４））。図面は、理解し易くするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚み、長さ、個数等は、図面作成の都合上から実際とは異なる場合がある。また、上記の実施形態で示す各構成要素の形状、寸法等は一例であって、特に限定されるものではなく、本発明の構成から実質的に逸脱しない範囲で種々の変更が可能である。
（１）本発明の実施形態では、補助画像１２１は、原稿用紙のようなマス目を含む線図で構成される実施例について説明したが、補助画像の形態はこれに限定されない。例えば、手書き文字の位置を規定し得る横線のみ、又は縦線のみで構成した補助画像であってもよい。
（２）また、図６を参照して説明したように、用紙４に既に記載されている補助線を利用して行数を導出する実施例を説明したが、本発明はこれに限定されない。例えば、用紙４の周辺に、手書きの書込みがある場合は、その書き込みから文字の大きさ、行間又は行数を算出して補助画像１２１を生成してもよい。そして、生成した補助画像１２１を表示部１２に表示するように構成することも可能である。
（３）また、図１を参照して説明したように、用紙４に矩形状の補助画像１２１を生成する実施例を説明したが、本発明はこれに限定されない。例えば、寄せ書き用の色紙に、斜め方向に台形状の補助画像を生成してもよい。
（４）更に、本発明は、本発明に係る表示装置の特徴的な構成手段をステップとする表示方法として実現したり、それらのステップを含む制御プログラムとして実現したりすることもできる。また、そのプログラムは、ＣＤ－ＲＯＭ等の記録媒体や通信ネットワーク等の伝送媒体を介して流通させることもできる。
本発明は、表示装置、表示システムの分野に利用可能である。
１ 表示装置
１１ 通信部（第２入力部）
１２ 表示部
１３ 撮像部
１４ 仮想入力部（第１入力部）
１５ 制御部
１５１ 処理部
１５１１ 生成部
１５１２ 認識部
１５１３ 導出部
１５１４ 第１特定部
１５１５ 第２特定部
１５１６ 第３特定部
１５１７ 第４特定部
１５１８ 判定部
１５１９ 制御部
１５２ 記憶部
２ 端末装置
３ 画像形成装置
４ 用紙（シート）
３１ 通信部（受信部）
３２ 画像形成部
３３ 制御部
１００ 表示システム

Claims (8)

  1. 画像を表示する表示部と、
    シートに記載される文字の位置を規定する補助画像を生成する生成部と、
    前記シートに対応させて前記補助画像を表示するように、前記表示部を制御する制御部と、
    少なくとも文字数を受け付ける第１入力部と
    を備え、
    前記生成部は、受け付けた前記文字数に対応する１又は複数の文字の位置を規定する前記補助画像を生成し、
    前記第１入力部は、前記文字を記載させる行数又は列数を受け付け、
    前記生成部は、受け付けた前記文字数と、前記行数又は前記列数とに対応する前記補助画像を生成し、
    前記シートを撮影してシート画像を示すシート画像データを生成する撮像部と、
    前記シート画像データに基づいて、少なくとも前記シートの領域を特定する第１特定部とを更に備え、
    前記生成部は、前記シートの領域のうち所定の領域に対応させて前記補助画像を生成し、
    前記表示部は、少なくとも前記補助画像を表示し、
    前記撮像部は、前記シート上を移動する指を撮影して指画像を示す指画像データを生成し、
    前記指画像データに基づいて、前記指の軌跡を特定する第２特定部を更に備え、
    前記生成部は、前記シートの領域のうちの前記指の軌跡によって規定される一部の領域に対応させて前記補助画像を生成し、
    音声を示す音声データを受け付ける第２入力部と、
    前記音声データが示す音声から文字を認識し、認識された前記文字の文字数を計数する認識部と、
    計数された前記文字数に基づいて、前記行数又は前記列数を導出する導出部とを更に備え、
    前記生成部は、計数された前記文字数と、導出された前記行数又は前記列数とに対応する前記補助画像を生成する、表示装置。
  2. 前記第１特定部は、前記シートの領域のうちの前記一部の領域に対応する前記シート画像データに基づいて、第１の方向に描画された１本又は複数本の補助線を特定し、
    前記生成部は、前記文字数と、前記補助線の本数とに基づいて、前記補助画像を生成する、請求項１に記載の表示装置。
  3. 認識された前記文字を示す文字データを記憶する記憶部と、
    前記指画像データと、前記補助画像を示す補助画像データとに基づいて、次に記載される文字の位置を特定する第３特定部とを更に備え、
    前記制御部は、前記記憶部に記憶されている前記文字データに基づいて、前記補助画像のうちの前記次に記載される文字の位置を示す画像の近傍に、前記次に記載される文字を表示するように、前記表示部を制御する、請求項１に記載の表示装置。
  4. 前記シート画像データと、前記補助画像を示す補助画像データとに基づいて、前記シート画像の色と、前記補助画像の色とをそれぞれ特定する第４特定部と、
    前記シート画像の色と前記補助画像の色とが近似するか否かを判定する判定部とを更に備え、
    前記生成部は、前記シート画像の色と前記補助画像の色とが近似すると判定された場合、前記補助画像の色を前記シート画像の色の補色に変更する、請求項１又は請求項２に記載の表示装置。
  5. 前記シート画像データと、前記補助画像を示す前記補助画像データとに基づいて、前記シート画像の色と、前記補助画像の色とをそれぞれ特定する第４特定部と、
    前記シート画像の色と前記補助画像の色とが近似するか否かを判定する判定部とを更に備え、
    前記生成部は、前記シート画像の色と前記補助画像の色とが近似すると判定された場合、前記補助画像の色を前記シート画像の色の補色に変更する、請求項３に記載の表示装置。
  6. 前記表示部は、非透過型であり、
    前記撮像部は、前記シートを含むように前記シートの周辺を撮影して周辺画像を示す周辺画像データを生成し、
    前記制御部は、前記周辺画像の中の前記シートに対応させて前記補助画像を表示するように、前記表示部を制御する、請求項１に記載の表示装置。
  7. 表示部を備える表示装置の表示方法であって、
    画像を表示する表示ステップと、
    シートに記載される文字の位置を規定する補助画像を生成する生成ステップと、
    前記シートに対応させて前記補助画像を表示するように、前記表示部を制御する制御ステップと、
    少なくとも文字数を受け付ける第１入力ステップと、
    を含み、
    前記生成ステップは、受け付けた前記文字数に対応する１又は複数の文字の位置を規定する前記補助画像を生成し、
    前記第１入力ステップは、前記文字を記載させる行数又は列数を受け付け、
    前記生成ステップは、受け付けた前記文字数と、前記行数又は前記列数とに対応する前記補助画像を生成し、
    前記シートを撮影してシート画像を示すシート画像データを生成する撮像ステップと、
    前記シート画像データに基づいて、少なくとも前記シートの領域を特定する第１特定ステップとを更に含み、
    前記生成ステップは、前記シートの領域のうち所定の領域に対応させて前記補助画像を生成し、
    前記表示ステップは、少なくとも前記補助画像を表示し、
    前記撮像ステップは、前記シート上を移動する指を撮影して指画像を示す指画像データを生成し、
    前記指画像データに基づいて、前記指の軌跡を特定する第２特定ステップを更に含み、
    前記生成ステップは、前記シートの領域のうちの前記指の軌跡によって規定される一部の領域に対応させて前記補助画像を生成し、
    音声を示す音声データを受け付ける第２入力ステップと、
    前記音声データが示す音声から文字を認識し、認識された前記文字の文字数を計数する認識ステップと、
    計数された前記文字数に基づいて、前記行数又は前記列数を導出する導出ステップとを更に含み、
    前記生成ステップは、計数された前記文字数と、導出された前記行数又は前記列数とに対応する前記補助画像を生成する、表示方法。
  8. 表示装置と、画像形成装置とを含む表示システムであって、
    前記表示装置は、
    画像を表示する表示部と、
    シートに記載される文字の位置を規定する補助画像を生成する生成部と、
    前記シートに対応させて前記補助画像を表示するように、前記表示部を制御する制御部と、
    前記文字が記載された前記シートを撮像して、前記シートの画像を示すシート画像データを生成する撮像部と、
    前記シート画像データを前記画像形成装置に送信する送信部と、
    少なくとも文字数を受け付ける第１入力部と、
    を備え、
    前記生成部は、受け付けた前記文字数に対応する１又は複数の文字の位置を規定する前記補助画像を生成し、
    前記第１入力部は、前記文字を記載させる行数又は列数を受け付け、
    前記生成部は、受け付けた前記文字数と、前記行数又は前記列数とに対応する前記補助画像を生成し、
    前記シート画像データに基づいて、少なくとも前記シートの領域を特定する第１特定部とを更に備え、
    前記生成部は、前記シートの領域のうち所定の領域に対応させて前記補助画像を生成し、
    前記表示部は、少なくとも前記補助画像を表示し、
    前記撮像部は、前記シート上を移動する指を撮影して指画像を示す指画像データを生成し、
    前記指画像データに基づいて、前記指の軌跡を特定する第２特定部を更に備え、
    前記生成部は、前記シートの領域のうちの前記指の軌跡によって規定される一部の領域に対応させて前記補助画像を生成し、
    音声を示す音声データを受け付ける第２入力部と、
    前記音声データが示す音声から文字を認識し、認識された前記文字の文字数を計数する認識部と、
    計数された前記文字数に基づいて、前記行数又は前記列数を導出する導出部とを更に備え、
    前記生成部は、計数された前記文字数と、導出された前記行数又は前記列数とに対応する前記補助画像を生成し、
    前記画像形成装置は、
    前記シート画像データを受信する受信部と、
    受信した前記シート画像データに基づいて、画像を形成する画像形成部と
    を備える、表示システム。

JP2018223303A 2018-11-29 2018-11-29 表示装置、表示方法および表示システム Active JP7180323B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018223303A JP7180323B2 (ja) 2018-11-29 2018-11-29 表示装置、表示方法および表示システム
US16/695,546 US20200174555A1 (en) 2018-11-29 2019-11-26 Display device, display method, and display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018223303A JP7180323B2 (ja) 2018-11-29 2018-11-29 表示装置、表示方法および表示システム

Publications (2)

Publication Number Publication Date
JP2020086264A JP2020086264A (ja) 2020-06-04
JP7180323B2 true JP7180323B2 (ja) 2022-11-30

Family

ID=70849154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018223303A Active JP7180323B2 (ja) 2018-11-29 2018-11-29 表示装置、表示方法および表示システム

Country Status (2)

Country Link
US (1) US20200174555A1 (ja)
JP (1) JP7180323B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009140223A (ja) 2007-12-06 2009-06-25 Canon Inc 画像表示装置、その制御方法、及びプログラム
JP2012053867A (ja) 2010-08-04 2012-03-15 Yoshitoshi Cho 手書きデータ出力処理装置
JP2017215661A (ja) 2016-05-30 2017-12-07 キヤノン株式会社 画像処理装置、及びその制御方法ならびにコンピュータプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6390501B2 (ja) * 2015-04-15 2018-09-19 京セラドキュメントソリューションズ株式会社 学習支援装置および学習支援方法
KR102326700B1 (ko) * 2015-06-01 2021-11-16 엘지전자 주식회사 이동 단말기

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009140223A (ja) 2007-12-06 2009-06-25 Canon Inc 画像表示装置、その制御方法、及びプログラム
JP2012053867A (ja) 2010-08-04 2012-03-15 Yoshitoshi Cho 手書きデータ出力処理装置
JP2017215661A (ja) 2016-05-30 2017-12-07 キヤノン株式会社 画像処理装置、及びその制御方法ならびにコンピュータプログラム

Also Published As

Publication number Publication date
JP2020086264A (ja) 2020-06-04
US20200174555A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
US9922400B2 (en) Image display apparatus and image display method
US10650489B2 (en) Image display apparatus, control method therefor, and storage medium
US10296559B2 (en) Display apparatus, control method therefor, and storage medium
US10460421B2 (en) Image processing apparatus and storage medium
WO2014156982A1 (ja) 画像付の二次元コードを生成する装置及びその方法
US20150067484A1 (en) Image display apparatus
CN105474303A (zh) 信息处理装置、信息处理方法及程序
JP2008283649A (ja) 画像処理方法、画像領域検出方法、画像処理プログラム、画像領域検出プログラム、画像処理装置、および、画像領域検出装置
US20130076854A1 (en) Image processing apparatus, image processing method, and computer readable medium
US20090285457A1 (en) Detection of Organ Area Corresponding to Facial Organ Image in Image
JP6098784B2 (ja) 画像処理装置及びプログラム
JP7218614B2 (ja) 画像診断システム、画像診断装置、および画像診断方法
WO2017208367A1 (ja) 画像処理装置、画像処理方法、および、プログラム
JP2015049753A (ja) ２次元コードを表示する装置、方法、およびプログラムならびに２次元コードを読み取る装置、方法、およびプログラム
JP2008191723A (ja) 顔検出装置、顔検出方法および顔検出プログラム
JP7180323B2 (ja) 表示装置、表示方法および表示システム
JP2009037464A (ja) 画像表示装置及びコンピュータプログラム
CN107454308A (zh) 显示控制设备及其控制方法和存储介质
JP2013238943A (ja) 二次元コード読取装置
JP6155893B2 (ja) 画像処理装置、及びプログラム
JP5985327B2 (ja) 表示装置
JP2013065164A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6369604B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2018191094A (ja) 原稿読取装置、原稿読取装置の制御方法、及びプログラム
KR101385771B1 (ko) 디스플레이 장치의 화면에 표시된 코드 판독 방법, 코드 판독 방법이 실행되는 리더기, 및 디스플레이 장치를 구비하는 전자 기기

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221031

R150 Certificate of patent or registration of utility model

Ref document number: 7180323

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150