JPWO2017072913A1 - 制御方法、電子黒板システム、表示装置およびプログラム - Google Patents

制御方法、電子黒板システム、表示装置およびプログラム Download PDF

Info

Publication number
JPWO2017072913A1
JPWO2017072913A1 JP2017547277A JP2017547277A JPWO2017072913A1 JP WO2017072913 A1 JPWO2017072913 A1 JP WO2017072913A1 JP 2017547277 A JP2017547277 A JP 2017547277A JP 2017547277 A JP2017547277 A JP 2017547277A JP WO2017072913 A1 JPWO2017072913 A1 JP WO2017072913A1
Authority
JP
Japan
Prior art keywords
input object
color
image
unit
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017547277A
Other languages
English (en)
Inventor
靖志 引地
靖志 引地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp NEC Display Solutions Ltd
Original Assignee
NEC Display Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Display Solutions Ltd filed Critical NEC Display Solutions Ltd
Publication of JPWO2017072913A1 publication Critical patent/JPWO2017072913A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明の一態様は、タッチを検出するタッチ検出ステップと、少なくとも前記入力物体の一部を含む画像を取得する画像取得ステップと、前記タッチ検出ステップでの検出結果と前記画像取得ステップでの取得画像とに応じて実行する処理を決定する処理決定ステップとを含む制御方法である。

Description

本発明は、制御方法、電子黒板システム、表示装置およびプログラムに関する。
特許文献1は、次の機能を有する電子黒板システムを開示する。特許文献1に記載された電子黒板システムは、座標指定用の入力物体を撮像した画像から入力物体の色を検出し、検出結果をコンピュータ操作画面上の描画色に反映させる機能を有する。
国際公開WO2012/026347号
特許文献1に記載された電子黒板システムによれば、例えばオンスクリーンディスプレイメニューから色を選択する操作が不要となる。また、特許文献1に記載された電子黒板システムによれば、例えば色指定用に複数の専用のペンを用意する必要がなくなる。したがって、特許文献1に記載された電子黒板システムによれば、操作や構成を簡易化することができる。
しかしながら、特許文献1に記載された電子黒板システムは、描画色を入力物体の本来の色に自動的に設定することを目的とする。そのため、特許文献1に記載された電子黒板システムでは、例えば描画色を入力物体の色と異なる色に設定することが容易ではなく、操作性が低くなる場合があるという課題がある。
本発明は、上記の事情に鑑みてなされたものであり、上記の課題を解決することができる制御方法、電子黒板システム、表示装置およびプログラムを提供することを目的とする。
上記課題を解決するため、本発明の一態様は、入力物体によるタッチを検出するタッチ検出ステップと、少なくとも前記入力物体の一部を含む画像を取得する画像取得ステップと、前記タッチ検出ステップでの検出結果と前記画像取得ステップでの取得画像とに応じて実行する処理を決定する処理決定ステップとを含む制御方法である。
また、本発明の一態様は、入力物体によるタッチを検出する検出部と、少なくとも前記入力物体の一部を含む画像を撮像する撮像部と、前記検出部による検出結果と前記撮像部による撮像画像とに応じて実行する処理を決定する制御部と、前記制御部が決定した処理により画像を表示する表示部とを備えた電子黒板システムである。
また、本発明の一態様は、入力物体によるタッチを検出する検出部による検出結果と少なくとも前記入力物体の一部を含む画像を撮像する撮像部による撮像画像とに応じて実行する処理を決定する制御部が決定した前記処理により画像を表示する表示部を備えた表示装置である。
また、本発明の一態様は、入力物体によるタッチを検出するタッチ検出ステップと、少なくとも前記入力物体の一部を含む画像を取得する画像取得ステップと、前記タッチ検出ステップでの検出結果と前記画像取得ステップでの取得画像とに応じて実行する処理を決定する処理決定ステップとをコンピュータに実行させるプログラムである。
本発明によれば、タッチ検出の結果と取得画像とに応じて実行する処理を決定することができるので、容易に操作性を高めることができる。
本発明の第1の実施形態の構成例を示すブロック図である。 本発明の第2の実施形態の構成例を示すブロック図である。 本発明の第2の実施形態の動作例を説明するための模式図である。 本発明の第2の実施形態の動作例を説明するための模式図である。 本発明の第2の実施形態の動作例を説明するための模式図である。 本発明の第2の実施形態の動作例を説明するための模式図である。 本発明の第2の実施形態の動作例を説明するための模式図である。 本発明の第2の実施形態の動作例を説明するための模式図である。 本発明の第2の実施形態における対応づけ記憶部16の記憶内容の一例を示す図である。 本発明の第2の実施形態の動作例を示すフローチャートである。 本発明の第2の実施形態の動作例を説明するための模式図である。 本発明の第2の実施形態の動作例を説明するための模式図である。 本発明の第2の実施形態の動作例を説明するための模式図である。 本発明の第2の実施形態の動作例を説明するための模式図である。 本発明の第2の実施形態の動作例を説明するための模式図である。 本発明の第2の実施形態の動作例を説明するための模式図である。 本発明の第2の実施形態の動作例を説明するための模式図である。 本発明の第2の実施形態の動作例を説明するための模式図である。 本発明の第2の実施形態の動作例を説明するための模式図である。 本発明の第2の実施形態の動作例を説明するための模式図である。 本発明の第3の実施形態の構成例を示すブロック図である。
<第1の実施形態>
以下、本発明の第1の実施形態について図面を参照して説明する。図1は、本発明の第1の実施形態の構成例を示したブロック図である。図1に示した第1の実施形態の制御装置1は、タッチ検出部2と、画像取得部3と、処理決定部4とを備える。
制御装置1は、例えば、1または複数のコンピュータと、コンピュータの周辺装置と、コンピュータで実行されるプログラムとを用いて構成することができる。ここで、コンピュータは、パーソナルコンピュータ、スマートフォン等の端末であってもよいし、マイクロコントローラ等の組み込み用のコンピュータであってもよい。また、周辺装置は、例えば、タッチ操作を検出する検出装置を含む。あるいは、周辺装置は、例えば、タッチ操作を検出する検出装置を含まず、その検出装置との間で信号を入出力するためのインタフェースを含む。また、周辺装置は、例えば、画像を撮影する撮像装置を含む。あるいは、周辺装置は、例えば、撮像装置との間で信号を入出力するためのインタフェースを含む。また、周辺装置は、例えば、画像を表示する表示装置を含む。あるいは、周辺装置は、例えば、表示装置との間で信号を入出力するためのインタフェースを含む。表示装置は、処理決定部4が後述するようにして決定した処理により画像を表示する。また、タッチ検出部2、画像取得部3および処理決定部4は、それぞれコンピュータと周辺装置とを用いてコンピュータで所定のプログラムを実行することで実現される一定の機能である。本願では、タッチ検出部2、画像取得部3および処理決定部4のような一定の機能に対応したブロックを機能ブロックと呼ぶ。
タッチ検出部2は、ユーザの指や手、ペン等の入力物体による検出面へのタッチを検出するか、検出された結果を表す信号を入力する。タッチ検出部2は、検出面がタッチされていることを示す情報と、1または複数のタッチされた検出面上の位置を示す情報とを処理決定部4に対して出力する。タッチ検出部2は、例えば、表示装置とタッチ操作の検出装置とを備えたタッチパネルにおける検出装置を備える。あるいは、タッチ検出部2は、例えば、タッチ操作の検出装置が出力した信号の入力インタフェースである。
画像取得部3は、タッチ検出部2にタッチしたかまたはタッチしようとする入力物体の少なくとも一部を被写体として含んだ画像を取得する。ここで、少なくとも入力物体の一部を含む画像とは、入力物体の特徴データを抽出できる程度に入力物体の一部を含む画像である。例えば、入力物体がユーザの指である場合、ユーザの指先から手首までを含む画像である。画像取得部3は、例えば、撮像装置を備える。あるいは、画像取得部3は、例えば、撮像装置が出力した画像データの入力インタフェースである。
処理決定部4は、タッチ検出部2が出力した検出結果と画像取得部3が取得した画像とに応じて実行する処理を決定する。処理決定部4が決定した処理を実行する主体は、処理決定部4であってもよいし、処理決定部4とは異なる機能ブロックであってもよいし、または、その両方であってもよい。実行する処理とは、例えば、描画処理である。この場合、処理決定部4は、例えば、タッチ検出部2による検出結果と画像取得部3が取得した画像とに応じて、描画処理の内容を決定する。処理決定部4は、例えば、タッチ操作に応じて文字や線を描画する際に、描画色や描画するペンの形状を決定する。あるいは、実行する処理とは、例えば、上述した入力物体による検出面に対する操作を、仮想的なマウス操作として認識し、認識したマウス操作を表す情報を生成および出力する処理である。この場合、処理決定部4は、例えば、タッチ検出部2による検出結果と画像取得部3が取得した画像とに応じて生成する、マウスボタンのクリックの状態とマウスの位置とを表す情報の内容を決定する。なお、処理決定部4が決定する処理は、これらの例に限定されない。
以上の構成において、制御装置1は、タッチ検出部2が、入力物体によるタッチを検出するかあるいはタッチの検出結果を入力するタッチ検出ステップを実行する。また、画像取得部3が、少なくとも入力物体の一部を含む画像を取得する画像取得ステップを実行する。そして、処理決定部4が、タッチ検出ステップでの検出結果と画像取得ステップでの取得画像とに応じて実行する処理を決定する処理決定ステップを実行する。したがって、本実施形態によれば、タッチ検出の結果と取得画像とに応じて実行する処理を決定することができる。よって、種々の処理に柔軟に対応することができ、容易に操作性を高めることができる。
<第2の実施形態>
次に、本発明の第2の実施形態について図面を参照して説明する。図2は、電子黒板システム10の構成例を示した概略ブロック図である。図2に示した電子黒板システム10は、撮像部11と、制御部12と、タッチパネル13とを備える。図2に示した電子黒板システム10においては、例えば、電子黒板システム10全体を本発明の第2の実施形態としてとらえてもよいし、または、制御部12を本発明の第2の実施形態としてとらえてもよい。あるいは、撮像部11と制御部12とを組み合わせたもの、もしくは制御部12とタッチパネル13とを組み合わせたものを本発明の第2の実施形態としてとらえてもよい。あるいは、制御部12から入力された画像信号に応じて画像を表示する表示部19を、本発明の第2の実施形態としてとらえてもよい。この場合、表示部19は、例えば、撮像部11と制御部12と後述する検出部18とを備えず、表示部19を備えた表示装置として構成することができる。
撮像部11は、例えば図3に示したようにタッチパネル13に取り付けられたカメラである。撮像部11は、タッチパネル13の画面13aに対する操作範囲を含む領域を撮影する。すなわち、撮像部11は、検出部18に対して入力操作を行う入力物体の少なくとも一部を含む画像を撮像する。撮像部11は、動画を常時撮影したり、一定の周期で繰り返し静止画を撮影したり、あるいは制御部12から図示していない制御信号を受信したときに動画または静止画を撮影したりする。
なお、撮像部11は、複数のカメラにより構成されてもよい。また、複数のカメラは、表示部19の上辺および右辺もしくは左辺にそれぞれ設けることができる。この場合、異なる方向からを入力物体の画像を取得できるので、入力物体の形状や色を正確に判断できる。さらに、1または複数のカメラの取り付けは、操作範囲を含む領域における入力物体を撮影できればよく、タッチパネル13に取り付けられることに限られない。
タッチパネル13は、検出部18を有し、表示部19に取り付けられる。また、タッチパネル13と表示部19は、一体的な装置であってもよい。表示部19は、制御部12から入力された画像信号に応じて画像を表示する。例えば、表示部19は、制御部12が決定した描画処理によって画像を表示する。表示部19は、例えば液晶ディスプレイである。検出部18は、ユーザの指やペンなどの入力物体による表示部19の表示面すなわちタッチパネル13の画面13aに対するタッチ操作を検出する。検出部18は、タッチの有無とタッチされた位置とを表す信号を、検出結果として制御部12に対して出力する。検出部18は、例えば液晶ディスプレイの表示面に透明のスクリーン状に形成されたタッチパッドである。
制御部12は、コンピュータであり、例えばCPU(中央処理装置)、揮発性および不揮発性のメモリを含む記憶装置、入出力インタフェース、通信装置等を備える。制御部12は、画像認識処理部14と、判断処理部15と、描画処理部17と、対応づけ記憶部16とを有する。画像認識処理部14、判断処理部15、描画処理部17、および対応づけ記憶部16は、上述した機能ブロックである。
画像認識処理部14は、撮像部11から取得した画像データを制御部12内の記憶装置に一旦記憶する。そして、画像認識処理部14は、例えば、検出部18が入力物体のタッチを検出した際に撮影された画像から入力物体の形状や色(すなわち形状および/または色)を認識する処理を実行する。画像認識処理部14は、例えば、認識対象の画像から抽出した形状の特徴データと、対応づけ記憶部16に予め記憶しておいた入力物体の特徴抽出データとを比較し、類似度が高い特徴抽出データの識別情報を、認識結果として出力する。あるいは、画像認識処理部14は、認識対象の画像中で一定の領域を占めた色の各成分の画素値と、予め記憶しておいた色の各成分の画素値とを比較し、類似度が高い色の識別情報を、認識結果として出力する。
判断処理部15は、検出部18の検出結果と画像認識処理部14の認識結果とに応じて、表示部19に対する描画処理の内容を決定する。例えば、図4に示したように、入力物体31によって画面13aに対して形状91が入力された場合、判断処理部15は、入力物体31の特徴データに類似する特徴抽出データに対応づけて設定されている色で形状91を描画するよう描画処理部17を制御する。図4に示した例では、入力物体31が右手人差し指で画面13aにタッチした状態の手である。また、描画色は黒である。なお、画面13aに対する入力とは、入力物体で画面13aにタッチするか、画面13aにタッチしたまま入力物体を移動させることを意味する。
また、例えば、図5に示したように、入力物体32によって画面13aに対して形状92が入力された場合、判断処理部15は、入力物体32の特徴データに類似する特徴抽出データに対応づけて設定されている色で形状92を描画するよう描画処理部17を制御する。図5に示した例では、入力物体32が右手中指で画面13aにタッチした状態の手である。また、描画色は赤である。
また、判断処理部15は、検出部18の検出結果と画像認識処理部14が認識した入力物体の形状や色とに応じて、認識した入力物体の形状や色と描画処理の内容との対応づけを設定する。設定の際、判断処理部15は、例えば図6に示したように、画面13a上に色設定メニュー20を表示するよう描画処理部17を制御する。色設定メニュー20は、例えば、タッチパネル13が備えた図示していないボタンがユーザによって押されたり、撮像部11に向けてユーザが特定のジェスチャーを行ったりしたときに表示することができる。図6に示した色設定メニュー20は、黒のアイコン21、赤のアイコン22、青のアイコン23、緑のアイコン24、黄色のアイコン25および白のアイコン26を含む。判断処理部15は、例えば図7に示したように、入力物体31が黒のアイコン21をタッチした場合、入力物体31の特徴データと黒とを対応づける設定情報を、対応づけ記憶部16に記憶する。あるいは、判断処理部15は、例えば図8に示したように、入力物体32が赤のアイコン22をタッチした場合、入力物体32の特徴データと赤とを対応づける設定情報を、対応づけ記憶部16に記憶する。
対応づけ記憶部16は、入力物体の形状や色を表す情報と処理の内容を表す情報とを対応づける情報を記憶する。図9は、対応づけ記憶部16の記憶内容の一例を示す。図9に示したテーブル161は、特徴抽出データ情報と、表示情報とを対応づけている。特徴抽出データ情報は、入力物体の形状や色の特徴を抽出したデータを表す情報である。表示情報は、描画処理の内容を表す情報であり、この例では、描画色または描画を消去する処理を表す。また、図9は、説明のため、特徴抽出データ情報を生成する際に特徴の抽出基であった入力物体31〜36を矢印で対応づけて示す。入力物体31〜34は右手41であり、入力物体35および36は右手42である。
図9において、例えば、上述した右手人差し指で画面13aにタッチした状態の形状を有する入力物体31の特徴抽出データ情報は16進数で「0045abd59932f096」であり、この特徴抽出データ情報には描画色「黒」を示す表示情報が対応づけられている。また、例えば、左手人差し指で画面13aにタッチした状態の形状を有する入力物体35の特徴抽出データ情報にはタッチした領域になされた描画を消去する処理である「消しゴム」を示す表示情報が対応づけられている。また、例えば、左手を広げて画面13aにタッチした状態の形状を有する入力物体36の特徴抽出データ情報には画面13aの全領域の描画を消去する処理である「全消去」を示す表示情報が対応づけられている。
なお、対応づけ記憶部16には、上述したユーザによる設定処理を行う前に、例えば製品の出荷段階から典型的な特徴抽出データ情報と表示情報とを対応づけて複数組記憶させておくことができる。
一方、図2に示した描画処理部17は、判断処理部15による制御に従い、表示部19に表示させる画像信号を生成し、生成した画像信号を表示部19へ出力する。描画処理部17は、外部から映像信号が入力された場合には、判断処理部15の制御の下で描画する画像と入力された映像信号とを重畳させて画像信号を生成することができる。
次に、図10に示したフローチャートを参照して、図2に示した電子黒板システム10の動作例について説明する。図10において、ステップS13〜S16が色設定処理に対応し、ステップS17〜S21が描画処理に対応する。また、対応づけ記憶部16には、形状A〜Fまたは形状Zを有する各入力物体の特徴抽出データがすでに格納されているものとする。
検出部18が入力物体による画面13aのタッチを検出すると(ステップS11)、色設定メニュー20が表示されているか否かを判断処理部15が判定する(ステップS12)。色設定メニュー20が表示されている場合(ステップS12でYesの場合)、画像認識処理部14が、撮像部11が撮像した画像を取得し(ステップS13)、所定のメモリに格納して画像認識処理を実行する(ステップS14)。次に、判断処理部15が、画像認識処理部14での認識結果と、対応づけ記憶部16にすでに格納されている入力物体の特徴抽出データの設定値(すなわち特徴抽出データ情報)とを比較する(ステップS15)。ステップS15において、判断処理部15は、例えばテーブル参照方式で認識結果と設定値とを比較することができる。
例えば認識された入力物体の形状が形状Aに最も類似していると判定されたとすると(ステップS15で形状A)、判断処理部15は、形状Aの特徴抽出データ情報に対応する表示情報に、色設定メニュー20でユーザが指定した色情報を格納する(ステップS16)。例えば、図7に示したように入力物体31で黒のアイコン21がタッチされた場合、判断処理部15は、図9に示したように入力物体31の特徴抽出データ情報に対応する表示情報に黒を格納する。そして、ステップS16の後はステップS11へ戻る。
一方、色設定メニュー20が表示されてない場合(ステップS12でNoの場合)、画像認識処理部14が、撮像部11が撮像した画像を取得し(ステップS17)、所定のメモリに格納して画像認識を実行する(ステップS18)。次に、判断処理部15が、画像認識処理部14での認識結果と、対応づけ記憶部16にすでに格納されている入力物体の特徴抽出データの設定値とを比較する(ステップS19)。ステップS19において、判断処理部15は、例えばテーブル参照方式で認識結果と設定値とを比較することができる。
例えば認識された入力物体の形状が形状Aに最も類似していると判定されたとすると(ステップS19で形状A)、判断処理部15は、形状Aの特徴抽出データ情報に対応する表示情報として記憶されている色情報を対応づけ記憶部16から読み出す(ステップS20)。次に、判断処理部15は、読み出した色情報で指定された色で描画処理を実行するよう描画処理部17を制御する(ステップS21)。例えば、図4に示したように入力物体31で形状91が入力されたとすると、判断処理部15は、形状91を黒で描画させる。そして、ステップS21の後はステップS11へ戻る。
以上の動作によれば、例えば右手人差し指で画面13aにタッチすれば黒で絵画を書き込むことができ、右手中指で画面13aにタッチすれば赤で絵画を書き込むことができる。また、例えば、入力物体の形状と色の対応関係をユーザが任意に設定することができる。
以上のように、第2の実施形態では、検出部18が、入力物体によるタッチを検出する。撮像部11が、少なくとも入力物体の一部を含む画像を撮像する。制御部12が、検出部18による検出結果と撮像部11による撮像画像とに応じて実行する処理を決定する。また、表示部19が、制御部12が決定した処理により画像を表示する。したがって、第2の実施形態によれば、タッチ検出の結果と取得画像とに応じて実行する処理を決定することができるので、容易に操作性を高めることができる。
なお、第2の実施形態は、例えば次のように変形することができる。例えば、図10のステップS16では、対応づけ記憶部16の記憶内容を更新することができる。すなわち、判断処理部15は、ステップS13で取得された画像に基づく認識結果に応じて、最も類似すると判定された形状の特徴抽出データ情報を書き換えることができる。
また、色設定メニュー20を階層構造としてもよい。電子黒板システム10は、色設定メニュー20で色が選択された後、例えば、図11に示した線の形状を選択する設定メニュー20aを表示することができる。図11に示した設定メニュー20aは、1本線を選択するためのアイコン26と2本線を選択するためのアイコン27とを有する。ここでアイコン26がタッチされた場合、描画処理では、色を選択したときの入力物体の形状で入力操作が行われたとき、1本線で当該色の線が描画される。一方、アイコン27がタッチされた場合、描画処理では、色を選択したときの入力物体の形状で入力操作が行われたとき、2本線で当該色の線が描画される。
また、色設定メニュー20に代えて、設定メニュー20aのみを使用して描画処理の内容を入力物体の形状に対応づけることもできる。例えば、電子黒板システム10をモノクロ表示で使用する場合、設定メニュー20aで線の形状と入力物体の形状とを設定する。この場合、例えば、図12に示したように、設定メニュー20aのアイコン26をタッチした入力物体31の形状を1本線での描画に対応づける。また、アイコン27をタッチした入力物体33の形状を2本線での描画に対応づける。この場合、ユーザは、入力物体31の形状で入力することで線を1本線に、そして、入力物体33の形状で入力することで線を2本線にすることができる。
また、入力物体と色との対応づけを、色が異なる汎用のペンを用いて設定することができる。例えば、図13に示したように、設定メニュー20bに色識別処理を指示するアイコン28を設ける。設定の際、ユーザは、1本の汎用のペンまたは複数の色が異なる汎用のペン43〜45を用意する。この場合、ペン43は青、ペン44は赤、そしてペン45は黒である。ペン43〜45の形状は同一であっても異なっていてもよい。ユーザは、ペン43〜45にキャップをした状態で、ペン43〜45でアイコン28にタッチする。電子黒板システム10は、アイコン28がタッチされたときにペン43〜45の形状と色とを認識し、ペン43による描画に青、ペン44による描画に赤、そしてペン45による描画に黒を設定する。また、この変形例では、ペンのタッチする位置で処理の内容を変えることができる。例えば、ペンの一方の端部でタッチされたときは色指定で、他方の端部でタッチされたときは消しゴムとすることができる。
また、例えば、図14および図15に示したように、認識された入力物体の形状と、それに対応づけられている色とを画面13a上にアイコン81またはアイコン82によって表示することができる。例えば、人差し指によるタッチが認識されている場合には、図14に示したように、人差し指でタッチする形状のアイコン81を黒で表示する。また、例えば、中指によるタッチが認識されている場合には、図15に示したように、中指でタッチする形状のアイコン82を赤で表示する。
なお、アイコン81またはアイコン82は、他の形状や色が認識されるまで常時表示しておいてもよいし、形状や色が変わったときに一定時間表示するだけでもよい。常時表示した場合、ユーザは、今、何色で記載することができるのかの情報を常に確認することができる。例えば、意図しない色の場合、ユーザは、指の形を再度変更するなどのアクションを取ることができる。他方、形状や色が変わったときに一定時間表示する場合、アイコン表示が目障りになりにくい。
また、描画色などの変更のタイミングには次の2通りが考えられる。すなわち、タッチを開始したときから予め設定した色などで描画処理を行う場合と、タッチを終了したときに予め設定した色などに変化させる場合とがある。図16に示したように、タッチ開始時に色を変更する場合、タッチ開始の直前に認識した形状に対応する色で線画92を描画する。一方、図17に示したように、タッチ終了時に色を変更する場合、変更前の色または標準色にて線画93を一度描画し、タッチが終了した時点で線画93の描画中に認識した形状に対応する色で線画92を再描画する。あるいは、線画93を描画せずに、タッチが終了したときに認識結果に応じた色で線画92を描画してもよい。
また、入力物体の形状や色と描画処理の内容との対応づけの設定は、画面13aの全体に対して一律としてもよいし、画面13aを複数の部分領域に分割し、部分領域毎に設定を変えてもよい。すなわち、例えば、図18に示したように、画面13aの全体にわたるような1つの領域51を入力および描画領域とすることができる。この場合、領域51では入力物体の形状や色に応じて処理内容を変更しながら描画処理を行わせることができる。あるいは、図19に示したように、画面13aの約半分を覆う領域52を設定し、領域52内でのみ入力物体の形状や色に応じて処理内容を変更しながら描画処理を行うようにしてもよい。そして、残りの領域53では入力および描画を行わないようにすることができる。この場合、領域53に対しては入力に応じて実行すべき描画処理は決定されないことになる。
また、例えば、図20に示したように、画面13aを複数の領域54、55および56に分割し、領域毎に入力物体の形状や色と、描画処理の内容との対応づけの設定を異ならせてもよい。この場合、例えば、領域54、55および56毎に色設定メニュー20c、20dおよび20eを別々に表示することができる。
なお、撮像部11は、カメラに限らず、赤外線センサーなどを用いたり、カメラと赤外線センサーを併用したりすることができる。また、電子黒板システムは、液晶ディスプレイを用いるものに限定されず、プロジェクタを用いたものであってもよい。また、入力物体は上記のものに限定されず、形状や色を識別可能な物体であって画面13aに損傷を与えにくいものであればよい。また、タッチパネル13は、例えばタブレット型端末やスマートフォンが有するタッチパネルであってもよい。その場合、撮像部11は、例えば、タブレット型端末やスマートフォンに内蔵されているインカメラと、入力物体を撮像可能に外付けしたプリズムとを用いて構成することができる。
また、第1の実施形態の構成要素と、第2の実施形態の構成要素の対応関係は例えば次のように考えることができる。図1に示した制御装置1は、図2に示した、電子黒板システム10全体、制御部12単体等に対応する。図1に示したタッチ検出部2は、図2に示した、検出部18、検出部18と判断処理部15とを組み合わせたもの、判断処理部15等に対応する。図1に示した画像取得部3は、図2に示した、撮像部11、撮像部11と画像認識処理部14とを組み合わせたもの、画像認識処理部14等に対応する。そして、図1に示した処理決定部4は、図2に示した判断処理部15等に対応する。
<第3の実施形態>
次に、本発明の第3の実施形態について図面を参照して説明する。図21は、電子黒板システム10aの構成例を示した概略ブロック図である。図21に示した電子黒板システム10aは、カメラ100と、CPU200と、タッチパネル300と、パーソナルコンピュータ(以下、PCと言う)400と、記憶部500とを備える。
カメラ100は、光学モジュール101と、信号処理部104とを備える。光学モジュール101は、光学系102と、撮像素子103とを備える。撮像素子103は、CMOS(complementary metal oxide semiconductor)イメージセンサ、CCD(charge-coupled device)イメージセンサ等である。信号処理部104は、撮像素子103から画素値を読み出し、読み出した画素値に対して信号処理を行って所定形式の映像信号に変換して出力する。また、信号処理部104は、CPU200が出力した制御信号に基づいて、光学系102を制御したり、撮像素子103を制御したり、信号の処理の内容を変化させたりする。
タッチパネル300は、液晶表示装置301と、タッチセンサ302とを備える。液晶表示装置301は、PC400が出力した映像信号に基づいて映像を表示する。タッチセンサ302は、液晶表示装置301の表示画面に対するタッチ操作を検出し、タッチを検出したことを示すタッチ検出信号と、タッチされた位置を示す画面座標データとを出力する。
CPU200は、カメラインタフェース201と、演算処理部202とを備える。カメラインタフェース201は、カメラ100が出力した映像信号を演算処理部202へ入力するための回路である。演算処理部202は、タッチパネル300からタッチ検出信号と画面座標データとを入力する。また、演算処理部202は、カメラ100へ制御信号を出力し、例えば撮像タイミングを制御する。また、演算処理部202は、PC400へ制御信号を出力し、例えば描画する画像を指示する。
記憶部500は、例えば、入力物体の形状や色の特徴を抽出したデータと、当該形状や色に対応づける処理との対応関係を表すテーブルを記憶する。記憶部500は、例えば、CPU200に対して着脱可能に接続された書き換え可能な不揮発性メモリである。
PC400は、CPU200から入力した制御信号と、ユーザが指示した映像やアプリケーションの操作画面を示す情報とから、タッチパネル300に表示する画像を生成し、所定形式の映像信号として出力する。
第3の実施形態の電子黒板システム10aのタッチ操作に応じた設定処理と描画処理に関する動作は、第2の実施形態の電子黒板システム10の動作と同一である。なお、第3の実施形態のカメラ100が、第2の実施形態の撮像部11に対応する。第3の実施形態のタッチパネル300が、第2の実施形態のタッチパネル13に対応する。そして、第3の実施形態のCPU200とPC400と記憶部500とを組み合わせたものが、第2の実施形態の制御部12に対応する。
第3の実施形態によれば、第2の実施形態と同様に、タッチ検出の結果と取得画像とに応じて実行する処理を決定することができるので、容易に操作性を高めることができる。また、記憶部500を着脱自在とした場合には、形状や色と処理との対応関係を示す情報を容易に更新することができる。また、第3の実施形態は、例えば、PC400のアプリケーションプログラムの操作画面と、タッチパネル300に対して書き込んだ文字や線とを組み合わせてタッチパネル300に表示するのに適した簡易な構成である。
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1 制御装置
2 タッチ検出部
3 画像取得部
4 処理決定部
10、10a 電子黒板システム
11 撮像部
12 制御部
13 タッチパネル
13a 画面
14 画像認識処理部
15 判断処理部
16 対応づけ記憶部
17 描画処理部
18 検出部
19 表示部
21〜26 アイコン(第1アイコン)
28 アイコン(第2アイコン)
81、82 アイコン(第3アイコン)

Claims (20)

  1. 入力物体によるタッチを検出するタッチ検出ステップと、
    少なくとも前記入力物体の一部を含む画像を取得する画像取得ステップと、
    前記タッチ検出ステップでの検出結果と前記画像取得ステップでの取得画像とに応じて実行する処理を決定する処理決定ステップと
    を含む制御方法。
  2. 前記処理決定ステップで決定する前記処理は、予め記憶させた前記入力物体の形状及び/又は色に対応づけた処理である
    請求項1に記載の制御方法。
  3. 前記処理決定ステップにおいて、前記取得画像から前記入力物体の形状及び/又は色を認識し、さらに前記認識した結果に応じて前記処理を決定する
    請求項1又は2に記載の制御方法。
  4. 前記タッチ検出ステップでの検出結果と前記画像取得ステップでの取得画像とに応じて、タッチした前記入力物体の形状及び/又は色を認識して記憶するとともに、前記処理決定ステップで決定する前記処理を前記記憶した入力物体の形状及び/又は色に対応づける設定ステップをさらに含む
    請求項2又は3に記載の制御方法。
  5. 前記設定ステップが、
    前記処理を表す第1アイコンを表示するステップと、
    前記第1アイコンが表す前記処理を、前記第1アイコンにタッチした前記入力物体の形状及び/又は色に対応づけるステップと
    を含む請求項4に記載の制御方法。
  6. 前記設定ステップが、
    色識別処理を表す第2アイコンを表示するステップと、
    前記処理を、前記第2アイコンにタッチした前記入力物体の色に対応づけるステップと
    を含む請求項4又は5に記載の制御方法。
  7. 前記処理決定ステップで、タッチの開始又は終了の際に前記処理を決定する
    請求項1から6のいずれか1項に記載の制御方法。
  8. 前記処理決定ステップで決定した前記処理を表す第3アイコンを表示する表示ステップを
    さらに含む請求項1から7のいずれか1項に記載の制御方法。
  9. 前記表示ステップで、前記処理決定ステップで決定された前記処理が変化した場合に一定時間前記第3アイコンを表示する
    請求項8に記載の制御方法。
  10. 前記処理決定ステップで、前記表示面に含まれた複数の部分領域毎に、前記実行する処理を決定する
    請求項1から9のいずれか1項に記載の制御方法。
  11. 前記処理決定ステップで、前記複数の部分領域の少なくとも一つに対して、前記実行する処理を決定しない
    請求項10項に記載の制御方法。
  12. 入力物体によるタッチを検出する検出部と、
    少なくとも前記入力物体の一部を含む画像を撮像する撮像部と、
    前記検出部による検出結果と前記撮像部による撮像画像とに応じて実行する処理を決定する制御部と、
    前記制御部が決定した処理により画像を表示する表示部と
    を備えた電子黒板システム。
  13. 前記制御部が決定する前記処理は、予め記憶させた前記入力物体の形状及び/又は色に対応づけた処理である
    請求項12に記載の電子黒板システム。
  14. 前記制御部が、前記撮像画像から前記入力物体の形状及び/又は色を認識し、さらに前記認識した結果に応じて前記処理を決定する
    請求項12又は13に記載の電子黒板システム。
  15. 前記制御部は、さらに、
    前記検出部の検出結果と前記撮像部の撮像画像とに応じて、タッチした前記入力物体の形状及び/又は色を認識し、
    前記決定する処理と、前記認識した入力物体の形状及び/又は色との対応づけを設定する
    請求項13又は14に記載の電子黒板システム。
  16. 前記制御部は、前記対応づけを設定する際に、
    前記処理を表す第1アイコンを表示し、
    前記第1アイコンが表す前記処理を、前記第1アイコンにタッチした前記入力物体の形状及び/又は色に対応づける
    請求項15に記載の電子黒板システム。
  17. 前記制御部は、前記対応づけを設定する際に、
    色識別処理を表す第2アイコンを表示し、
    前記決定する処理を、前記第2アイコンにタッチした前記入力物体の色に対応づける
    請求項15又は16に記載の電子黒板システム。
  18. 前記制御部は、タッチの開始又は終了の際に前記処理を決定する
    請求項12から17のいずれか1項に記載の電子黒板システム。
  19. 入力物体によるタッチを検出する検出部による検出結果と前記入力物体の一部を少なくとも含む画像を撮像する撮像部による撮像画像とに応じて実行する処理を決定する制御部が決定した前記処理により画像を表示する表示部を
    備えた表示装置。
  20. 入力物体によるタッチを検出するタッチ検出ステップと、
    少なくとも前記入力物体の一部を含む画像を取得する画像取得ステップと、
    前記タッチ検出ステップでの検出結果と前記画像取得ステップでの取得画像とに応じて実行する処理を決定する処理決定ステップと
    をコンピュータに実行させるプログラム。
JP2017547277A 2015-10-29 2015-10-29 制御方法、電子黒板システム、表示装置およびプログラム Pending JPWO2017072913A1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/080563 WO2017072913A1 (ja) 2015-10-29 2015-10-29 制御方法、電子黒板システム、表示装置およびプログラム

Publications (1)

Publication Number Publication Date
JPWO2017072913A1 true JPWO2017072913A1 (ja) 2018-05-24

Family

ID=58629921

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017547277A Pending JPWO2017072913A1 (ja) 2015-10-29 2015-10-29 制御方法、電子黒板システム、表示装置およびプログラム

Country Status (3)

Country Link
US (1) US20180239486A1 (ja)
JP (1) JPWO2017072913A1 (ja)
WO (1) WO2017072913A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10761670B2 (en) * 2018-06-13 2020-09-01 Tactual Labs Co. Sensing of multiple writing instruments

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0784715A (ja) * 1993-09-10 1995-03-31 Hitachi Ltd 情報処理装置
JPH09185456A (ja) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd インターフェイス装置
JPH1138949A (ja) * 1997-07-15 1999-02-12 Sony Corp 描画装置、描画方法及び記録媒体
WO2011086600A1 (ja) * 2010-01-15 2011-07-21 パイオニア株式会社 情報処理装置、その方法
JP2012053584A (ja) * 2010-08-31 2012-03-15 Sanyo Electric Co Ltd 情報表示システムおよびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120044140A1 (en) * 2010-08-19 2012-02-23 Sanyo Electric Co., Ltd. Information display system and program, and optical input system, projection-type images and display apparatus
US20140210797A1 (en) * 2013-01-31 2014-07-31 Research In Motion Limited Dynamic stylus palette
US20150058753A1 (en) * 2013-08-22 2015-02-26 Citrix Systems, Inc. Sharing electronic drawings in collaborative environments

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0784715A (ja) * 1993-09-10 1995-03-31 Hitachi Ltd 情報処理装置
JPH09185456A (ja) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd インターフェイス装置
JPH1138949A (ja) * 1997-07-15 1999-02-12 Sony Corp 描画装置、描画方法及び記録媒体
WO2011086600A1 (ja) * 2010-01-15 2011-07-21 パイオニア株式会社 情報処理装置、その方法
JP2012053584A (ja) * 2010-08-31 2012-03-15 Sanyo Electric Co Ltd 情報表示システムおよびプログラム

Also Published As

Publication number Publication date
WO2017072913A1 (ja) 2017-05-04
US20180239486A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
US11048333B2 (en) System and method for close-range movement tracking
CN105814522B (zh) 基于运动识别来显示虚拟输入设备的用户界面的设备和方法
US9910498B2 (en) System and method for close-range movement tracking
KR101514168B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
JP5658552B2 (ja) 表示制御装置及びその制御方法、プログラム、及び記録媒体
US9519365B2 (en) Display control apparatus and control method for the same
US10684772B2 (en) Document viewing apparatus and program
WO2015045676A1 (ja) 情報処理装置、および制御プログラム
JP5989479B2 (ja) 文字認識装置、文字認識装置の制御方法、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005301668A (ja) 情報処理装置および情報処理プログラム
JP6540367B2 (ja) 表示制御装置、通信端末、通信システム、表示制御方法、及びプログラム
US20110037731A1 (en) Electronic device and operating method thereof
US20160300321A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
WO2017072913A1 (ja) 制御方法、電子黒板システム、表示装置およびプログラム
TWI653540B (zh) 顯示裝置、投影機、及顯示控制方法
JP2005301669A (ja) 情報処理装置および情報処理プログラム
US20200257396A1 (en) Electronic device and control method therefor
CN108932054B (zh) 显示装置、显示方法和非暂时性的记录介质
JP5994903B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
CN109218599B (zh) 全景图像的显示方法及其电子装置
JP2020071544A (ja) 情報表示装置、電子ペン、表示制御方法、及び表示制御プログラム
JP6276630B2 (ja) 情報処理装置、情報処理プログラムおよび情報処理方法
JP6409777B2 (ja) 撮像装置、撮像方法及びプログラム
US20220256095A1 (en) Document image capturing device and control method thereof
JP5943743B2 (ja) 表示制御装置、その制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190625