JP2021033038A - 端末装置の制御方法、および、端末装置の制御プログラム - Google Patents

端末装置の制御方法、および、端末装置の制御プログラム Download PDF

Info

Publication number
JP2021033038A
JP2021033038A JP2019152634A JP2019152634A JP2021033038A JP 2021033038 A JP2021033038 A JP 2021033038A JP 2019152634 A JP2019152634 A JP 2019152634A JP 2019152634 A JP2019152634 A JP 2019152634A JP 2021033038 A JP2021033038 A JP 2021033038A
Authority
JP
Japan
Prior art keywords
image
image data
terminal device
display unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2019152634A
Other languages
English (en)
Inventor
酒井 俊行
Toshiyuki Sakai
俊行 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2019152634A priority Critical patent/JP2021033038A/ja
Priority to US16/999,442 priority patent/US11164547B2/en
Priority to CN202010847238.3A priority patent/CN112422935A/zh
Publication of JP2021033038A publication Critical patent/JP2021033038A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】シンプルな構成、および簡単な操作で、端末装置に表示される画像の向きと、表示装置に表示される画像の向きとを一致させることができる端末装置の制御方法を提供すること。【解決手段】第1の表示部と、第1の表示部の重力方向における姿勢を検出するモーションセンサーとを有し、第2の表示部を有する表示装置に対して、画像データを供給する端末装置の制御方法であって、モーションセンサーにより鉛直方向を検出し、検出した鉛直方向に応じて、ソース画像を回転させた第1の画像データを生成し、第1の画像データによる画像を、端末装置の第1の表示部に表示させ、第1の画像データを表示装置に送信することを含み、第1の画像データを生成するステップにおいて、第1の画像データによる画像が第1の表示部に表示される際、ソース画像における画像の下方向と、検出した鉛直方向とが一致するように、第1の画像データが生成される。【選択図】図6

Description

本発明は、端末装置の制御方法、および、端末装置の制御プログラムに関する。
プロジェクターは、床置き設置や、天井吊下げ設置など、用途に応じて異なる設置態様で用いられる。そのため、標準的な床置き設置における投射画像に対して、天地を反転させた天井吊下げ設置における投射画像は、上下が反転した画像となってしまう。反転画像では、画像や、操作メニュー画面なども反転してしまい不便であることから、このような問題に鑑みた技術が提案されている。
例えば、特許文献1のプロジェクターは、液晶ライトバルブで形成された画像を光軸周りに回転させる像回転プリズムを備えている。この像回転プリズムを回転させることで、画像を回転させて投射画像の向きを変更する。
昨今、店内や、ショールームなどで、照明型のプロジェクターを用いたデジタルサイネージが盛んである。このような小型軽量のプロジェクターは、多様な場所に設置されるため、例えば、天井や、床面に広告を投射するといったケースもあり、投射画像の向きも多用となっている。また、このようなプロジェクターにスマートフォンなどの情報端末装置から画像データを送信したいというニーズもあった。
特開2010−122485号公報
しかしながら、特許文献1の技術では、プロジェクターに専用の複雑な仕組みが必要となってしまう。詳しくは、特許文献1では像回転プリズムや関連機構などが必要であった。また、スマートフォンのように可搬性に優れた情報端末装置から画像ソースを送信する場合、情報端末装置の表示部に表示される画像の向きと、プロジェクターによる投射画像の向きとが一致しないケースが多いという課題があった。また、両者の画像の向きを合せる操作も容易ではないという課題もあった。これは、プロジェクターに限らず、液晶ディスプレイなど表示装置一般に共通な課題であった。
本願の端末装置の制御方法は、第1の表示部と、第1の表示部の重力方向における姿勢を検出するモーションセンサーとを有し、第2の表示部を有する表示装置に対して、画像データを供給する端末装置の制御方法であって、モーションセンサーにより鉛直方向を検出し、検出した鉛直方向に応じて、ソース画像を回転させた第1の画像データを生成し、第1の画像データによる画像を、端末装置の第1の表示部に表示させ、第1の画像データを表示装置に送信することを含み、第1の画像データを生成するステップにおいて、第1の画像データによる画像が第1の表示部に表示される際、ソース画像における画像の下方向と、検出した鉛直方向とが一致するように、第1の画像データが生成される。
また、第1の画像データを生成するステップにおいて、ソース画像の回転は、90°単位で行われることが好ましい。
また、端末装置の第1の表示部の座標軸である第1の座標軸、および表示装置の第2の表示部の座標軸である第2の座標軸において、第1の画像データによる画像が表示される範囲が最も大きくなる第1の座標軸を選定するステップを含み、第2の座標軸は固定されており、第1の座標軸は、鉛直方向が変化しても固定されることが好ましい。
また、端末装置は、撮像部を有し、表示装置が第2の表示部に第1の画像データに規定された第1の画像を表示した際、撮像部により、第1の画像を撮像し、撮像した第1の画像に、ソース画像における所定パターンと一致するパターンが含まれるか否か判断することが好ましい。
また、モーションセンサーにより鉛直方向を検出するステップにおいて、鉛直方向が検出できなかった場合、ソース画像の画像データをそのまま使用して、第1の表示部に表示させるとともに、画像データを表示装置に送信し、第1の表示部に、ソース画像を回転させる操作を受け付ける操作画面を表示させることが好ましい。
また、端末装置は、携帯型の情報端末装置であり、表示装置は、プロジェクターであることが好ましい。
本願の端末装置の制御プログラムは、第1の表示部と、第1の表示部の重力方向における姿勢を検出するモーションセンサーとを有する端末装置と、第2の表示部を有する表示装置とを含む表示システムにおいて、端末装置が実行する制御プログラムであって、モーションセンサーにより鉛直方向を検出するステップと、検出した鉛直方向に応じて、ソース画像を回転させた第1の画像データを生成するステップと、第1の画像データによる画像を、端末装置の第1の表示部に表示させるステップと、第1の画像データを表示装置に送信するステップと、を含み、第1の画像データを生成するステップにおいて、第1の画像データによる画像が第1の表示部に表示される際、ソース画像における画像の下方向と、検出した鉛直方向とが一致するように、第1の画像データを生成する。
実施形態1に係る表示システムの概略構成図。 スマートフォンの概略構成を示すブロック図。 プロジェクターの概略構成を示すブロック図。 比較例の表示システムにおける表示態様図。 比較例の表示システムにおける表示態様図。 画像方向適合プログラムにおける処理の流れを示すフローチャート図。 表示システムにおける表示態様図。 表示システムにおける表示態様図。 表示システムにおける表示態様図。 表示システムにおける表示態様図。 実施形態2に係る画像方向適合プログラムのフローチャート図。 表示システムにおける表示態様図。 実施形態3に係る表示システムの概略構成図。
実施形態1
***表示システムの概要***
図1は、本実施形態に係る表示システムの概略構成図である。
図1に示すように、表示システム100は、端末装置としてのスマホ50と、表示装置としてのプロジェクター80とから構成されている。
スマホ50は、スマートフォンであり、第1の表示部としての表示部42、操作ボタン40、撮像部43などを備えている。操作ボタン40は、スマホ50を起動する際の起動ボタンであり、指紋認証機能も有している。撮像部43は、表示部42を表面としたときに、裏面に設けられている。
プロジェクター80は、天井や、壁面などにも設置可能な照明型のプロジェクターである。プロジェクター80は、本体部71、設置部72、アーム部73などから構成されている。本体部71は、スポットライトを模した円筒状のプロジェクターであり、画像データに規定された画像を投射する。設置部72は、平板状の設置部であり、内部には電源ユニットなどが収納されている。アーム部73は、本体部71と、設置部72とを接続するアームである。アーム部73の本体部71との接合部には、首振り機構が設けられており、本体部71の向きを調整できる仕様となっている。
図1は、スマホ50からプロジェクター80に対して無線LANで画像データを送信している様子を示している。プロジェクター80は、床に設置されており、受信した画像データに規定された画像を壁面に投射することで、第2の表示部としての投射画像F1が形成されている。
スマホ50は、平面的に長方形をなしており、当該長方形を横方向に向けた状態で操作者が持っている。スマホ50の短辺は、略鉛直線の方向に沿っている。なお、スマホ50の長辺の延在方向をX方向ともいう。X方向における操作ボタン40側を右側、撮像部43側を左側ともいう。また、スマホ50の短辺の延在方向をY方向ともいう。X方向を横方向、Y方向を縦方向ともいう。
スマホ50の表示部42には、横長の長方形の画面における略中央に、Eという文字が表示されている。そして、プロジェクター80による投射画像F1にも、スマホ50に表示されたEと、画像の向きが一致したEという文字が表示されている。これは、スマホ50にて、本実施形態の画像方向適合プログラムを実行した結果であり、両表示部には、フル画面で適切な方向の画像が表示されていることが解る。画像方向適合プログラムについては、後述する。
なお、プロジェクター80の投射画像F1における座標軸は、固定されている。詳しくは、図1のように、プロジェクター80を床置きで、壁面に正対させたときに、横長の長方形状をなした投射画像F1の左側上方が原点0となる座標軸となっている。なお、この座標軸は、第2の座標軸に相当し、これはプロジェクター80のハードウェア設定において固定されている。このため、プロジェクター80を天吊り設置した場合や、投射画面を縦長表示した場合においても、この座標軸に基づく方向の画像が表示される。
これに対して、スマホ50では、表示部42の向きに応じて画像が回転するため、プロジェクター80の投射画像F1の画像の向きと一致しないことが多かった。なお、詳しくは、後述する。
***スマホおよびプロジェクターの構成***
図2は、スマートフォンの概略構成を示すブロック図である。
スマホ50は、制御部41、表示部42、撮像部43、操作部44、センサー部45、音声処理部46、記憶部47、第1通信部48、第2通信部49などから構成されている。制御部41は、システムバス39を介して、上記各部と接続している。
制御部41は、1つ又は複数のプロセッサーを含んで構成される。制御部41は、記憶部47に記憶されているOS(Operating System)やアプリケーションプログラムに従って動作することにより、スマホ50の動作を統括制御する。
表示部42は、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイ等の表示デバイスを備えて構成され、画像データに基づく画像を表示する。
撮像部43は、CCD(Charge Coupled Device)センサー、またはCMOS(Complementary Metal Oxide Semiconductor)センサーなどの撮像素子を備えたカメラである。撮像部43は、制御部41の制御に基づいて撮像を行い、撮像した画像データを制御部41に出力する。
操作部44は、表示部42と一体的に構成されるタッチパネルや、操作ボタン40などによって構成され、操作者による入力操作を受け付ける。操作者が操作部44を操作すると、操作部44は、システムバス39を介して、操作内容に応じた操作信号を制御部41に出力する。
センサー部45は、3軸加速度センサー、および3軸ジャイロ(角速度)センサーを備えたモーションセンサーである。センサー部45は、予め指定されたサンプリング周波数に従い、システムバス39を介して、検知信号を制御部41に出力する。
音声処理部46は、マイクロホン、およびスピーカーなどから構成されている。システムバス39を介して与えられるデジタル音声データをアナログ化してスピーカーより出力させる一方で、マイクロホンから入力されたアナログの音声信号をサンプリングし、デジタルデータ化して出力する。
記憶部47は、RAM(Random Access Memory)及びROM(Read Only Memory)などのメモリーから構成される。記憶部47は、OS、アプリケーションプログラム、および各種データなどを記憶する。アプリケーションプログラムには、画像方向適合プログラム38、および、OCR(Optical Character Recognition/Reader)プログラムも含まれる。また、各種データには、複数の画像データ、および、画像データに含まれるパターン画像のデータも含まれる。
第1通信部48は、IMT−2000規格に準拠した第3世代移動通信システム、およびIMT−Advance規格に準拠した第4世代移動通信システムに基づき、アンテナを介して最寄りの図示しない基地局との間でデータの送受信を実行する、デュアルモードで動作する通信部である。
第2通信部49は、無線LAN(Local Area Network)や、Bluetooth(登録商標)などにより無線通信を行うための無線通信デバイスを備えて構成される。通信部49は、制御部41の制御に基づき、プロジェクター80などの外部の装置との間で無線接続による情報の送受信を行う。
図3は、プロジェクターの概略構成を示すブロック図である。
図3に示すように、プロジェクター80は、制御部20、記憶部21、入力操作部22、通信部23、画像情報入力部24、画像情報処理部25、OSD処理部26、画像投射部27などから構成されている。
プロジェクター80は、画像情報入力部24に入力される画像データに基づいて、画像投射部27から画像を投射する。
制御部20は、1つ又は複数のプロセッサーを備えて構成され、記憶部21に記憶されている制御プログラムに従って動作することによりプロジェクター80の動作を統括制御する。
記憶部21は、RAM、およびROMを備えて構成される。RAMは、各種データ等の一時記憶に用いられ、ROMは、プロジェクター80の動作を制御するための制御プログラムや制御データなどを記憶する。
入力操作部22は、操作者がプロジェクター80に対して各種指示を行うための複数の操作キーを備えている。入力操作部22が備える操作キーとしては、電源のオンとオフとを切り替えるための「電源キー」、各種設定を行うためのメニューを表示させる「メニューキー」、メニューの項目を選択するための「方向キー」などがある。操作者が入力操作部22の各種操作キーを操作すると、入力操作部22は、操作内容に応じた操作信号を制御部20に出力する。なお、遠隔操作が可能なリモコン(図示せず)を、入力操作部として用いる構成としても良い。この場合、リモコンは、操作者の操作内容に応じた赤外線の操作信号を発信し、図示しないリモコン信号受信部がこれを受信して制御部20に伝達する。
通信部23は、無線LANや、Bluetoothなどにより無線通信を行うための無線通信デバイスを備えて構成される。通信部23は、制御部20の制御に基づき、スマホ50などの外部の装置との間で無線接続による情報の送受信を行う。
画像情報入力部24は、コンピューターや、画像再生装置などの外部の画像供給装置(図示せず)に接続され、画像供給装置から画像情報の供給を受ける。また、画像情報入力部24は、制御部20から、記憶部21に記憶されている画像情報の供給を受けることができる。画像情報入力部24は、制御部20の制御に基づいて、画像供給装置又は制御部20から入力された画像情報に、必要に応じて様々な画像処理を施し、処理後の画像情報を画像情報処理部25に出力する。
画像情報処理部25は、制御部20の制御に基づいて、画像情報入力部24から入力される画像情報に対して、必要な画像処理を施し、処理後の画像情報をOSD処理部26に出力する。
OSD処理部26は、制御部20の制御に基づいて、入力画像上にメッセージ画像やメニュー画像等のOSD(オンスクリーンディスプレイ)画像を重畳して表示するための処理を行う。OSD処理部26は、図示しないOSDメモリーを備えており、OSD画像を形成するための図形やフォント等を表すOSD画像情報を記憶している。制御部20が、OSD画像の重畳を指示すると、OSD処理部26は、必要なOSD画像情報をOSDメモリーから読み出し、入力画像上の所定の位置にOSD画像が重畳されるように、画像情報処理部25から入力される画像情報にこのOSD画像情報を合成する。OSD画像情報が合成された画像情報は、画像投射部27のライトバルブ駆動部34に出力される。
画像投射部27は、光源31、光変調装置としての3つの液晶ライトバルブ32R,32G,32B、投射光学系としての投射レンズ33、ライトバルブ駆動部34等で構成されている。画像投射部27は、光源31から射出された光を、液晶ライトバルブ32R,32G,32Bで変調して画像光を形成し、この画像光を投射レンズ33から投射する。
光源31は、発光ダイオードや半導体レーザー等の固体光源を含んで構成されている。なお、超高圧水銀ランプやメタルハライドランプなどの放電型の光源ランプを用いても良い。光源31から射出された光は、図示しないインテグレーター光学系によって輝度分布が略均一な光に変換され、図示しない色分離光学系によって光の3原色である赤色(R)、緑色(G)、青色(B)の各色光成分に分離された後、それぞれ液晶ライトバルブ32R,32G,32Bに入射する。
液晶ライトバルブ32R,32G,32Bは、それぞれ一対の透明基板間に液晶が封入された透過型の液晶パネル等によって構成される。各液晶パネルには、マトリクス状に配列された複数の画素からなる矩形の画像形成領域32iが形成されており、液晶に対して画素毎に駆動電圧を印加可能になっている。
ライトバルブ駆動部34は、液晶ライトバルブ32R,32G,32Bの画像形成領域32iに画像を形成する。具体的には、ライトバルブ駆動部34は、OSD処理部26から入力される画像情報に応じた駆動電圧を、画像形成領域32iの各画素に印加し、各画素を画像情報に応じた光透過率に設定する。光源31から射出された光は、液晶ライトバルブ32R,32G,32Bの画像形成領域32iを透過することによって画素毎に変調され、画像情報に応じた画像光が色光毎に形成される。形成された各色の画像光は、図示しない色合成光学系によって画素毎に合成されてカラー画像を表す画像光となり、投射レンズ33によって拡大投射される。
なお、画像情報入力部24、画像情報処理部25、およびOSD処理部26は、1つ又は複数のプロセッサー等によって構成されてもよいし、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの専用の処理装置によって構成されてもよい。
***画像方向が一致しないケースについて***
図4は、比較例の表示システムにおける表示態様を示す図である。
ここでは、本実施形態の画像方向適合プログラムの説明に先立ち、当該プログラムを用いない場合において、比較例の表示システムによる表示態様について説明する。
比較例のスマホ35には、画像方向適合プログラムがインストールされていない。その他の構成は、スマホ50と同じである。以下、上記説明と同一の部位については、同一の番号を付し、重複する説明は省略する。
プロジェクター80は、上記説明と同一のプロジェクターである。図4は、プロジェクター80の代表的な4つの投射態様を示している。
まず、一番左の投射画像F11は、図1と同様に、プロジェクター80を床置き設置し、壁面に正対させた場合の投射画像である。投射画像F11では、横長の長方形をなした投射画像F11の左側上方が原点0となっている。詳しくは、長方形における−Y方向の長辺を上辺a、左隣りの短辺を左辺b、上辺aと向い合う長辺を下辺c、左辺bと向い合う短辺を右辺dとしたときに、原点0は、上辺aと左辺bとの交点となる。原点を0とした座標軸において、上辺aはX軸、左辺bはY軸に相当する。なお、この床置き正対投射がプロジェクター80の基本的な設置態様であり、座標軸も固定されているため、他の表示態様の説明においても、上辺a、左辺b、下辺c、右辺dという表現を用いる。
スマホ35は、表示部42が縦長で、撮像部43が上方に位置する状態となっている。スマホ35の長辺は、略鉛直線の方向に沿っている。表示部42には、縦長の画面の略中央にEという文字が表示されている。なお、一般的なスマートフォンのOSには、スマートフォンの姿勢に応じて画像の向きを変更する機能が搭載されている。詳しくは、モーションセンサーにより重力方向を検出し、当該重力方向が下となる画像を表示する仕組みとなっている。スマホ35も同じ機能を備えており、図4に示すように、表示部42には、重力方向となる+Y方向を下とした際に、Eという文字が読み取れる適切な向きの画像が表示される。この際、スマホ35の画像の座標軸は、縦長の表示部42の左上を原点0とした座標軸となる。なお、画像の座標軸と画像データの座標軸とは一致している。
この姿勢のスマホ35からプロジェクター80に送信された画像データによる画像は、投射画像F11のように、長辺における両サイドに縦の黒帯が入った画像となる。つまり、床置き正対投射における投射画像F11は、両サイドに縦の黒帯が入った画像となっていた。これは、プロジェクター80では、自身の座標軸に対して、画像データの座標軸を合せて内接するように設定されているからである。つまり、画像データの座標軸と、プロジェクター80の座標軸とを合せて、画像データによる画像全体を表示する仕様となっているため、画像を縮小して、両サイドに黒帯が入った画像となる。
次の投射画像L11は、プロジェクター80を天井に設置し、壁面に縦長に投射した際の投射画像である。なお、プロジェクター80を天井のライトレールなどに吊下げて設置することを天吊り設置ともいう。また、各画像が投射される壁面は、同じ壁面である。投射画像L11では、上辺aが左側で、左辺bが下となり、原点0は左下に位置している。なお、この設置態様のことを天吊り左上投射ともいう。
投射画像L11のように、天吊り左上投射においても、長辺における両サイドに縦の黒帯が入った画像となっていた。さらに、画面の上辺aが左側となっているため、E文字も90°回転しており、正対した操作者からは見難くなっている。なお、両サイドに黒帯が入る理由は、床置き正対投射での説明と同じである。
次の投射画像R11も、プロジェクター80を天井に設置し、壁面に縦長に投射した際の投射画像であるが、上辺aの向きが右側となっている。詳しくは、投射画像R11では、上辺aが右側で、右辺bが上となり、原点0は右上に位置している。なお、この設置態様のことを天吊り右上投射ともいう。
投射画像R11のように、天吊り右上投射においても、長辺における両サイドに縦の黒帯が入った画像となっていた。さらに、画面の上辺aが右側となっているため、E文字も投射画像L11とは逆方向に90°回転しており、正対した操作者からは見難くなっている。なお、両サイドに黒帯が入る理由は、床置き正対投射での説明と同じである。
一番右の投射画像C11は、プロジェクター80を天井に設置し、床置き正対投射と上下反転した横長の投射画像である。詳しくは、投射画像C11では、上辺aが下で、右辺bが右側となり、原点0は右下に位置している。なお、この設置態様のことを天吊り反転投射ともいう。
投射画像C11のように、天吊り反転投射においても、長辺における両サイドに縦の黒帯が入った画像となっていた。さらに、画面の上辺aが下となっているため、E文字も反転しており、正対した操作者からは見難くなっている。なお、両サイドに黒帯が入る理由は、床置き正対投射での説明と同じである。
このように、画像方向適合プログラムが未搭載のスマホ35において撮像部43を上にした状態で画像データを送信した場合、プロジェクター80の4つの投射態様のいずれにおいても、適切な画像を得ることはできなかった。なお、プロジェクター80の入力操作部22から、操作者が操作入力することで画像の向きを変更することは可能であるが、容易ではなかった。
図5は、比較例の表示システムにおける表示態様を示す図であり、図4に対応している。図4では、スマホ35を縦長配置した場合、プロジェクター80の投射画像の両サイドに黒帯が入ってしまう事例について説明したが、スマホ35を横長配置することで、黒帯が入る問題は解決できる。詳しくは、前述したようにプロジェクター80は、自身の座標軸と、画像データの座標軸とを合せる設定となっているため、スマホ35を横長配置とすることで、両者の表示部における長辺を一致させることができる。
スマホ35は、表示部42が横長で、操作ボタン40が右側に位置する状態となっている。スマホ35の短辺は、略鉛直線の方向に沿っている。表示部42には、横長の画面の略中央にEという文字が表示されている。この姿勢におけるスマホ35の画像の座標軸は、横長の表示部42の左上を原点0とした座標軸となる。なお、画像の座標軸と画像データの座標軸とは一致している。
一番左の投射画像F12は、プロジェクター80を床置き設置し、壁面に正対させた場合の投射画像である。投射画像F12では、横長の長方形をなした投射画像F12の左上が原点0となっている。投射画像F12には、スマホ35に表示されたEと、画像の向きが一致したEという文字が表示されている。黒帯も入らず適切な画像となっている。
次の投射画像L12は、天吊り左上投射による投射画像である。投射画像L12では、上辺aが左側で、左辺bが下となり、原点0は左下に位置している。投射画像L12は、黒帯が入らないフル画像となっている。他方、画面の上辺aが左側となっているため、E文字も90°回転しており、正対した操作者からは見難くなっている。
次の投射画像R12は、天吊り右上投射による投射画像である。投射画像R12では、上辺aが右側で、右辺bが上となり、原点0は右上に位置している。投射画像R12は、黒帯が入らないフル画像となっている。他方、画面の上辺aが右側となっているため、E文字も投射画像L12とは逆方向に90°回転しており、正対した操作者からは見難くなっている。
一番右の投射画像C12は、天吊り反転投射による投射画像である。投射画像C12では、上辺aが下で、右辺bが右側となり、原点0は右下に位置している。投射画像C12は、黒帯が入らないフル画像となっている。他方、画面の上辺aが下となっているため、E文字も反転しており、正対した操作者からは見難くなっている。
このように、スマホ35を横長配置することで黒帯が入る問題は解決できるが、適切な表示となるのは、4つの投射態様のうち1つだけであり、依然として簡便に適切な画像を得ることは困難であった。また、適切な投射態様を選択できた場合でも、スマホ35の姿勢を変えてしまうと投射画像の向きも変わってしまうため、スマホ35の姿勢をそのままで維持する必要があった。姿勢を維持することも大変だが、スマホ35を他の用途で使えない状況となってしまい、使い勝手も良くなかった。なお、図5では、操作ボタン40が右側に位置する横長配置について説明したが、180°回転して、操作ボタン40が左側に位置する横長配置とした場合も、適切な表示となるのは4つの投射態様のうち1つだけであり、同様な問題があった。
***画像方向適合プログラム、および制御方法について***
図6は、画像方向適合プログラムにおける処理の流れを示すフローチャート図である。図7A〜図7Dは、本実施形態の表示システムにおける表示態様を示す図である。
ここでは、画像方向適合プログラムを搭載したスマホ50による画像方向の適合方法について、図6を主体に、図7A〜図7Dを用いて説明する。なお、プロジェクター80は、天吊り左上投射による投射画像を表示し、操作者は、投射画像に向かって正対する位置でスマホ50を持っているものとして説明する。以下説明において、各ステップの実行主体はスマホ50の制御部41(図2)であり、記憶部47に記憶されている画像方向適合プログラムの処理フローに沿って、スマホ50の各部を制御する。
ステップS1では、操作者がスマホ50のアプリから、画像方向適合プログラムを選択して、起動する。なお、無線LANなどを介してプロジェクターを検出した場合に、当該プログラムを自動起動することであっても良い。
ステップS2では、無線LANを介してプロジェクター80と接続し、プロジェクター80の解像度情報を取得する。
ステップS3では、取得した解像度データに基づき、プロジェクター80の座標軸と、スマホ50の座標軸とにおいて、最大の表示が可能な座標軸を選定する。つまり、後述する第1の画像データによる画像が表示される範囲が最も大きくなるように、スマホ50の座標軸を設定する。詳しくは、解像度データにおける座標軸の長辺と、スマホ50の座標軸の長辺とを合せる。例えば、図7Aの事例では、スマホ50は、横長配置されており、操作ボタン40が右側に位置する状態となっている。この姿勢におけるスマホ50の画像の座標軸は、横長の表示部42の左上を原点0とした座標軸となり、この座標軸を選定する。この座標軸が第1の座標軸に相当し、以降の処理フローにおいて、鉛直方向が変化しても固定される。
ステップS4では、センサー部45(図2)の検知データから、スマホ50の姿勢を検出する。詳しくは、センサー部45のモーションセンサーにより、スマホ50の表示部42の重力方向における方向を検出する。例えば、図7Aの事例では、横長配置されたスマホ50の短辺は、略鉛直線の方向に沿っており、座標軸の+Y方向が重力方向の下側となっていることを検出する。
ステップS5では、検出された姿勢におけるスマホ50の表示部42において、適切な画像となる画像データを生成する。詳しくは、ソース画像における画像の下側と、重力方向における下側とが一致する第1の画像データとしての画像データD1を生成する。なお、ソース画像の回転は、90°単位で行われる。ソース画像にはパターン画像が含まれている。図7Aの事例では、Eという文字がソース画像における所定パターンに相当する。なお、所定パターンは、Eという文字に限定するものではなく、上下左右が識別可能な文字やパターンが含まれた画像であれば良い。例えば、風景などの画像の中に、文字やパターンが含まれている画像データでも良い。
ステップS6では、生成された画像データD1によるパターン画像を含む画像を表示部42に表示する。これにより、図7Aのように、横長配置されたスマホ50の表示部42に、Eという文字がフル画面で表示される。
ステップS7では、表示部42に表示した画像データと同じ画像データD1を、無線LANを介してプロジェクター80に送信する。なお、前述の通りステップS3で座標軸を固定しているため、図7Aのように、送信される画像データD1は、横長で、原点0が左上の画像データとなる。そして、プロジェクター80は、画像データD1に規定された画像を投射する。
ステップS8では、プロジェクター80による投射画像の向きが適切か否か判断する。詳しくは、操作者が投射画像を見て判断する。投射画像の向きが適切な場合は、ステップS9に進む。投射画像の向きが適切でない場合は、ステップS10に進む。例えば、図7Aの事例において、操作者は、プロジェクター80の投射画像L1では、Eの文字が横向きとなってしまっているため、適切ではないと判断し、ステップS10に進む。
ステップS10では、スマホ50を回転させる。詳しくは、操作者が、スマホ50を時計回りに90°回転させる。そして、スマホ50を回転させると、自動的にステップS4に戻る。図7Bは、スマホ50を回転させた状態を示している。図7Bのように、90°回転したことにより、スマホ50は、操作ボタン40を下にした縦長の姿勢となっている。この姿勢において、ステップS4〜ステップS7を行うことで、縦長配置されたスマホ50の表示部42に、Eという文字がフル画面で表示される。また、プロジェクター80に送信される画像データD2は、横長で、原点0が左上の画像データであるが、文字Eは、90°回転した状態となっている。
再度、ステップS8において、投射画像の向きが適切か否か判断する。操作者は、図7Bの投射画像L2では、Eの文字が反転しているため、適切ではないと判断し、ステップS10に進む。
再度、ステップS10では、操作者が、スマホ50を時計回りに90°回転させる。スマホ50を回転させると、自動的にステップS4に戻る。図7Cは、スマホ50を回転させた状態を示している。図7Cのように、90°回転したことにより、スマホ50は、操作ボタン40を左にした横長の姿勢となっている。この姿勢において、ステップS4〜ステップS7を行うことで、横長配置されたスマホ50の表示部42に、Eという文字がフル画面で表示される。また、プロジェクター80に送信される画像データD3は、横長で、原点0が左上の画像データであるが、文字Eは、180°回転した状態となっている。
再々度、ステップS8において、投射画像の向きが適切か否か判断する。操作者は、図7Cの投射画像L3では、Eの文字が横になっているため、適切ではないと判断し、ステップS10に進む。
再々度、ステップS10では、操作者が、スマホ50を時計回りに90°回転させる。スマホ50を回転させると、自動的にステップS4に戻る。図7Dは、スマホ50を回転させた状態を示している。図7Dのように、90°回転したことにより、スマホ50は、操作ボタン40を上にした縦長の姿勢となっている。この姿勢において、ステップS4〜ステップS7を行うことで、縦長配置されたスマホ50の表示部42に、Eという文字がフル画面で表示される。また、プロジェクター80に送信される画像データD4は、横長で、原点0が左上の画像データであるが、文字Eは、90°回転した状態となっている。
再度、ステップS8において、投射画像の向きが適切か否か判断する。操作者は、図7Dの投射画像L4は、スマホ50の画像を拡大した相似形であり、方向、およびサイズも適切であると判断し、ステップS9に進む。
ステップS9では、画像データを確定する。詳しくは、操作者がスマホ50に表示されている操作メニューの中から、画像方向一致というボタンを押すことで、画像データD4で画像データが確定する。以降、スマホ50の姿勢に拘わらず、画像データD4における画像方向、および座標軸に準じた画像データが送信される。
なお、上記説明では、プロジェクター80の設置態様を天吊り左上投射として説明したが、他の3つの設置態様においても、同様に画像方向を適合させることができる。
***実施形態1の効果***
上述した通り、表示システム100によれば、プロジェクター80は初期設定のままで、スマホ50の画像方向適合プログラムを実行することにより、様々な投射態様を行った場合でも、適切な投射画像を簡便に設定することができる。詳しくは、投射画像が適切でなかった場合、スマホ50を回転させて鉛直方向を変えることで、適切な画像を容易に選択できる。
よって、適切な投射画像を得るために専用の複雑な仕組みや、操作が必要であった従来のプロジェクターと異なり、プロジェクター80は初期仕様のままで、スマホ50のアプリケーションを実行するだけで良いため、簡便で、使い勝手が良い。
さらに、ステップS9にて、適切な画像を確定した後は、スマホ50の姿勢に拘わらず、選択した画像データによる画像方向、および座標軸に準じた画像データが送信されるため、スマホ50の姿勢を気にせずに使用することができる。
従って、表示システム100によれば、シンプルな構成、かつ、スマホ50を回転させるという簡単な操作で、プロジェクター80の投射画像の向きと、スマホ50に表示される画像の向きとを容易に一致させることができる。換言すれば、画像方向適合プログラム、および制御方法によれば、スマホ50に表示される画像の向きと、プロジェクター80の投射画像の向きとを、容易、かつ簡便に一致させることができる。
実施形態2
**画像方向適合プログラムの異なる態様について**
図8は、本実施形態の画像方向適合プログラムにおける処理の流れを示すフローチャート図であり、図6に対応している。図9は、本実施形態の表示システム100における表示態様を示す図である。本実施形態の画像方向適合プログラムは、実施形態1の画像方向適合プログラムの自動化を図ったプログラムである。
ここでは、本実施形態の画像方向適合プログラムを搭載したスマホ50による画像方向の適合方法について、図8を主体に、図6、図9を交えて説明する。
なお、図9に示すように、プロジェクター80は天吊り右上投射による投射画像R1を表示し、操作者は、投射画像に向かって正対する位置でスマホ50を持っているものとして説明する。スマホ50は、縦長配置されており、操作ボタン40が下側に位置する状態となっている。スマホ50の記憶部47(図2)には、本実施形態の画像方向適合プログラムが記憶されている。なお、実施形態1での説明と重複する内容は省略する。
まず、図8のステップS11〜ステップS17までは、図6のステップS1〜ステップS7までと同一である。ステップS17において、スマホ50からプロジェクター80に画像データD4が送信される。プロジェクター80は、画像データD4による投射画像R1を投射する。
ステップS18では、スマホ50の撮像部43により、第1の画像としての投射画像R1を撮像する。詳しくは、パターン画像を含む投射画像R1を撮像する。
ステップS19では、投射画像R1を撮像した撮像データについてパターン認識を行い、パターン画像が認識できるか否か判断する。詳しくは、スマホ50の記憶部47に記憶されているOCRプログラムを実行し、撮像データに、記憶しているパターン画像と一致するパターンが含まれるか否か判断する。図9の事例では、記憶しているパターン画像であるEという文字と、撮像データにおけるEという文字とを照合したところ、方向を含めて一致すると判断されたため、ステップS20へ進む。
ステップS20では、ステップS19にてパターン画像と一致するパターンが含まれると判断されたことから、画像方向適合プログラムにより、自動的に画像データを確定する。なお、ステップS19にてパターン画像と一致しないと判断された場合は、投射画像の向きが適切でないため、ステップS21に進み、操作者により、スマホ50が時計回りに90°回転される。そして、ステップS14〜ステップS19を再度実施する。
なお、上記説明では、プロジェクター80の設置態様を天吊り右上投射として説明したが、他の3つの設置態様においても、同様に画像方向を適合させることができる。
***実施形態2の効果***
上述した通り、実施形態2の画像方向適合プログラムによれば、投射画像の向きをOCRによるパターン認識により、自動化することができる。詳しくは、投射画像を撮像し、撮像データとパターン画像とを照合することで、適切な投射画像を選定する。
従って、実施形態1における作用効果に加えて、より使い勝手の良い画像方向適合プログラム、および制御方法を提供することができる。
実施形態3
図10は、本実施形態の表示システムを示す模式図である。
上記実施形態では、表示システムにおける表示装置は、プロジェクターであるものとして説明したが、この構成に限定するものではなく、外部から入力される画像データを表示可能な表示部を備えていれば良い。
ここでは、本実施形態の表示システム110における画像方向の適合方法について、図10を主体に、図1を交えて説明する。
図10に示すように、本実施形態の表示システム110は、端末装置としてのスマホ50と、表示装置としての液晶ディスプレイ95とから構成されている。スマホ50は、上記実施形態で説明したスマートフォンであり、画像方向適合プログラムを搭載している。
液晶ディスプレイ95は、液晶パネルからなる表示部96を備えた表示装置であり、外部からの画像データを受信するための無線LAN端末を含む通信部を有している。表示部96は、横長の長方形をなしており、左上が原点0となっている。詳しくは、長方形の長辺に相当する上辺aと、短辺に相当する左辺bとの交点が、原点0となる。つまり、表示部96の座標軸は、上辺aがX軸、左辺bがY軸であり、両者の交点が原点0となっている。
図10は、スマホ50により画像方向適合プログラムを実行したことにより、スマホ50の表示部42における画像と、液晶ディスプレイ95の表示部96における画像とが、適合した状態を示している。詳しくは、操作ボタン40が右側に位置するように横長配置されたスマホ50から、原点0が左上の座標軸で、Eという文字のパターン画像を含む画像データが液晶ディスプレイ95に送信される。液晶ディスプレイ95では、受信した画像データを自身の座標軸に合せて、スマホ50の画像と相似形で、かつ、フル画像のEという文字を表示部96に表示している。
このように、表示システム110の表示装置は、液晶ディスプレイ95であっても良いし、EL(Electro Luminescence)ディスプレイ、プラズマディスプレイ、ブラウン管、電子ペーパーなどであっても良い。これらの直視型ディスプレイを用いても、同様の作用効果を得ることができる。
また、スマホ50もスマートフォンに限定するものではなく、表示部を有し、画像方向適合プログラムを実行可能な携帯型の情報端末装置であれば良い。例えば、タブレット型情報端末、PDA(personal digital assistant)、ウェアラブル端末、電子ペーパー端末などを用いても、同様の作用効果を得ることができる。
***実施形態3の効果***
上述した通り、実施形態3の表示システム110は、スマホ50と、表示装置として直視型ディスプレイである液晶ディスプレイ95とを備えている。この構成であっても、上記実施形態と同様に、スマホ50に表示される画像の向きと、液晶ディスプレイ95に表示される画像の向きとを、容易に合せることができる。
従って、直視型ディスプレイを用いた表示システム110においても、シンプルな構成、かつ、簡単な操作で、画像の向きを容易に一致させることができる。
変形例1
図6を用いて説明する。
上述の実施形態において、ステップS4では、モーションセンサーによりスマホ50の表示部42の重力方向における方向を検出していたが、方向検出ができない場合も想定される。方向検出ができない場合でも、画像方向適合プログラムを一部変更することで、画像の方向を合せることができる。
詳しくは、鉛直方向が検出できなかった場合、ソース画像の画像データであるソース画像データをそのまま使用して、スマホ50に表示させる。次に、同じソース画像データをプロジェクター80に送信する。ここまでで、投射画像を見れば、ソース画像データの方向のままで良いか判断ができる。
続いて、スマホ50の表示部42には、ソース画像データを回転させる操作を受け付ける操作画面、および、画像データを確定するための操作画面が表示される。例えば、「画像を90°回転」、「画像方向一致」といった操作ボタンを表示させる。「画像を90°回転」ボタンを押すと、ソース画像データを時計回りに90°回転させた画像データが生成され、投射画像が表示されるので、適合するまで当該ボタンの操作を繰り返す。なお、この際、スマホ50は回転させなくて良い。
適切な投射画像が表示されたら、「画像方向一致」ボタンを押すことで、画像データが確定する。以降、当該画像データにおける画像方向、および座標軸に準じた画像データが送信される。
このように、鉛直方向が検出できない場合であっても、投射画像を見ながら操作ボタンを押すという、簡単な方法で、画像の向きを一致させることができる。
変形例2
図1を用いて説明する。
上述の実施形態において、スマホ50と、プロジェクター80との接続は、無線LANを介するものとして説明したが、これに限定するものではなく、解像度情報や、画像データなど必要な情報を送受信できる通信手段であれば良い。例えば、Bluetoothを用いても良いし、有線接続であっても良い。有線接続としては、HDMI(High-Definition Multimedia Interface)(登録商標)や、USB(Universal Serial Bus)ケーブル、LANケーブルなどを用いて、両者を接続しても良い。これらの接続方法であっても、上記実施形態、変形例と同様の作用効果を得ることができる。
以下に、実施形態から導き出される内容を記載する。
本願に係る端末装置の制御方法は、第1の表示部と、第1の表示部の重力方向における姿勢を検出するモーションセンサーとを有し、第2の表示部を有する表示装置に対して、画像データを供給する端末装置の制御方法であって、モーションセンサーにより鉛直方向を検出し、検出した鉛直方向に応じて、ソース画像を回転させた第1の画像データを生成し、第1の画像データによる画像を、端末装置の第1の表示部に表示させ、第1の画像データを表示装置に送信することを含み、第1の画像データを生成するステップにおいて、第1の画像データによる画像が第1の表示部に表示される際、ソース画像における画像の下方向と、検出した鉛直方向とが一致するように、第1の画像データが生成される。
この制御方法によれば、第2の表示部に表示された画像が、フル画面の適切な画像であった場合は、第1の画像データを用いることで適切な画像を表示できる。第2の表示部に表示された画像が適切な画像でなかった場合は、端末装置を回転させて鉛直方向を変えることで、第1の画像データをさらに回転させた画像データで、適切な画像が表示されるか確認できる。よって、端末装置を回転させるという簡便な方法で、端末装置の画像と、表示装置の画像とを一致させることができる。さらに、この方法は、端末装置にプログラムとして実行させることで実現できるので、複雑な仕組みを必要としない。
従って、この制御方法によれば、シンプルな構成、かつ、端末装置を回転させるという簡単な操作で、端末装置に表示される画像の向きと、表示装置に表示される画像の向きとを容易に一致させることができる。
また、第1の画像データを生成するステップにおいて、ソース画像の回転は、90°単位で行われることが好ましい。
この方法によれば、画像データの向きを、90°単位で回転した4パターンからなるプロジェクターの基本的な投射態様に合せることができる。
また、端末装置の第1の表示部の座標軸である第1の座標軸、および表示装置の第2の表示部の座標軸である第2の座標軸において、第1の画像データによる画像が表示される範囲が最も大きくなる第1の座標軸を選定するステップを含み、第2の座標軸は固定されており、第1の座標軸は、鉛直方向が変化しても固定されることが好ましい。
この方法によれば、第2の表示部を有する表示装置はディフォルト設定のままで良く、端末装置から送信する画像データの座標軸は固定されるので、端末装置を回転させても第1の画像データによる画像を継続して表示することができる。
また、端末装置は、撮像部を有し、表示装置が第2の表示部に第1の画像データに規定された第1の画像を表示した際、撮像部により、第1の画像を撮像し、撮像した第1の画像に、ソース画像における所定パターンと一致するパターンが含まれるか否か判断することが好ましい。
この方法によれば、表示装置の表示部に表示された第1の画像が適切か否かをパターン認識により、自動的に判断することができる。
また、モーションセンサーにより鉛直方向を検出するステップにおいて、鉛直方向が検出できなかった場合、ソース画像の画像データをそのまま使用して、第1の表示部に表示させるとともに、画像データを表示装置に送信し、第1の表示部に、ソース画像を回転させる操作を受け付ける操作画面を表示させることが好ましい。
この方法によれば、鉛直方向が検出できない場合であっても、投射画像を見ながら操作ボタンを押すという、簡単な方法で、画像の向きを一致させることができる。
また、端末装置は、携帯型の情報端末装置であり、表示装置は、プロジェクターであることが好ましい。
これによれば、携帯型の情報端末装置と、プロジェクターとからなる表示システムにおいて、シンプルな構成、かつ、簡単な操作で、情報端末装置に表示される画像の向きと、プロジェクターに表示される画像の向きとを容易に一致させることができる。
本願に係る制御プログラムは、第1の表示部と、第1の表示部の重力方向における姿勢を検出するモーションセンサーとを有する端末装置と、第2の表示部を有する表示装置とを含む表示システムにおいて、端末装置が実行する制御プログラムであって、モーションセンサーにより鉛直方向を検出するステップと、検出した鉛直方向に応じて、ソース画像を回転させた第1の画像データを生成するステップと、第1の画像データによる画像を、端末装置の第1の表示部に表示させるステップと、第1の画像データを表示装置に送信するステップと、を含み、第1の画像データを生成するステップにおいて、第1の画像データによる画像が第1の表示部に表示される際、ソース画像における画像の下方向と、検出した鉛直方向とが一致するように、第1の画像データを生成する。
この制御プログラムによれば、第2の表示部に表示された画像が、フル画面の適切な画像であった場合は、第1の画像データを用いることで適切な画像を表示できる。第2の表示部に表示された画像が適切な画像でなかった場合は、端末装置を回転させて鉛直方向を変えることで、第1の画像データをさらに回転させた画像データで、適切な画像が表示されるか確認できる。よって、端末装置を回転させるという簡便な方法で、端末装置の画像と、表示装置の画像とを一致させることができる。
従って、この制御プログラムによれば、端末装置を回転させるという簡単な操作で、端末装置に表示される画像の向きと、表示装置に表示される画像の向きとを容易に一致させることができる。
35…スマホ、38…画像方向適合プログラム、40…操作ボタン、41…制御部、42…表示部、43…撮像部、44…操作部、45…センサー部、47…記憶部、48…第1通信部、49…第2通信部、50…スマホ、71…本体部、72…設置部、73…アーム部、80…プロジェクター、95…液晶ディスプレイ、96…表示部、100,110…表示システム、C11,C12…投射画像、D1〜D4…画像データ、F1,F11,F12…投射画像、L1〜L4,L11,L12…投射画像、R1,R11,R12…投射画像。
次の投射画像R11も、プロジェクター80を天井に設置し、壁面に縦長に投射した際の投射画像であるが、上辺aの向きが右側となっている。詳しくは、投射画像R11では、上辺aが右側で、辺bが上となり、原点0は右上に位置している。なお、この設置態様のことを天吊り右上投射ともいう。
投射画像R11のように、天吊り右上投射においても、長辺における両サイドに縦の黒帯が入った画像となっていた。さらに、画面の上辺aが右側となっているため、E文字も投射画像L11とは逆方向に90°回転しており、正対した操作者からは見難くなっている。なお、両サイドに黒帯が入る理由は、床置き正対投射での説明と同じである。
一番右の投射画像C11は、プロジェクター80を天井に設置し、床置き正対投射と上下反転した横長の投射画像である。詳しくは、投射画像C11では、上辺aが下で、辺bが右側となり、原点0は右下に位置している。なお、この設置態様のことを天吊り反転投射ともいう。
投射画像C11のように、天吊り反転投射においても、長辺における両サイドに縦の黒帯が入った画像となっていた。さらに、画面の上辺aが下となっているため、E文字も反転しており、正対した操作者からは見難くなっている。なお、両サイドに黒帯が入る理由は、床置き正対投射での説明と同じである。
一番右の投射画像C12は、天吊り反転投射による投射画像である。投射画像C12では、上辺aが下で、辺bが右側となり、原点0は右下に位置している。投射画像C12は、黒帯が入らないフル画像となっている。他方、画面の上辺aが下となっているため、E文字も反転しており、正対した操作者からは見難くなっている。


Claims (7)

  1. 第1の表示部と、前記第1の表示部の重力方向における姿勢を検出するモーションセンサーとを有し、第2の表示部を有する表示装置に対して、画像データを供給する端末装置の制御方法であって、
    前記モーションセンサーにより鉛直方向を検出し、
    検出した鉛直方向に応じて、ソース画像を回転させた第1の画像データを生成し、
    前記第1の画像データによる画像を、前記端末装置の第1の表示部に表示させ、
    前記第1の画像データを前記表示装置に送信することを含み、
    前記第1の画像データを生成するステップにおいて、
    前記第1の画像データによる画像が前記第1の表示部に表示される際、
    前記ソース画像における画像の下方向と、前記検出した鉛直方向とが一致するように、前記第1の画像データが生成される、端末装置の制御方法。
  2. 前記第1の画像データを生成するステップにおいて、
    前記ソース画像の回転は、90°単位で行われる、請求項1に記載の端末装置の制御方法。
  3. 前記端末装置の前記第1の表示部の座標軸である第1の座標軸、および前記表示装置の第2の表示部の座標軸である第2の座標軸において、前記第1の画像データによる画像が表示される範囲が最も大きくなる前記第1の座標軸を選定するステップを含み、
    前記第2の座標軸は固定されており、
    前記第1の座標軸は、鉛直方向が変化しても固定される、請求項1または2に記載の端末装置の制御方法。
  4. 前記端末装置は、撮像部を有し、
    前記表示装置が前記第2の表示部に前記第1の画像データに規定された第1の画像を表示した際、前記撮像部により、前記第1の画像を撮像し、
    撮像した前記第1の画像に、前記ソース画像における所定パターンと一致するパターンが含まれるか否か判断する、請求項1〜3のいずれか1項に記載の端末装置の制御方法。
  5. 前記モーションセンサーにより鉛直方向を検出するステップにおいて、
    前記鉛直方向が検出できなかった場合、前記ソース画像の画像データをそのまま使用して、前記第1の表示部に表示させるとともに、前記画像データを前記表示装置に送信し、
    前記第1の表示部に、前記ソース画像を回転させる操作を受け付ける操作画面を表示させる、請求項1〜4のいずれか1項に記載の端末装置の制御方法。
  6. 前記端末装置は、携帯型の情報端末装置であり、
    前記表示装置は、プロジェクターである、請求項1〜5のいずれか1項に記載の端末装置の制御方法。
  7. 第1の表示部と、前記第1の表示部の重力方向における姿勢を検出するモーションセンサーとを有する端末装置と、第2の表示部を有する表示装置とを含む表示システムにおいて、前記端末装置が実行する制御プログラムであって、
    前記モーションセンサーにより鉛直方向を検出するステップと、
    検出した鉛直方向に応じて、ソース画像を回転させた第1の画像データを生成するステップと、
    前記第1の画像データによる画像を、前記端末装置の第1の表示部に表示させるステップと、
    前記第1の画像データを前記表示装置に送信するステップと、を含み、
    前記第1の画像データを生成するステップにおいて、
    前記第1の画像データによる画像が前記第1の表示部に表示される際、
    前記ソース画像における画像の下方向と、前記検出した鉛直方向とが一致するように、前記第1の画像データを生成する、端末装置の制御プログラム。
JP2019152634A 2019-08-23 2019-08-23 端末装置の制御方法、および、端末装置の制御プログラム Withdrawn JP2021033038A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019152634A JP2021033038A (ja) 2019-08-23 2019-08-23 端末装置の制御方法、および、端末装置の制御プログラム
US16/999,442 US11164547B2 (en) 2019-08-23 2020-08-21 Method for controlling terminal apparatus and non-transitory computer-readable storage medium storing a control program for controlling terminal apparatus
CN202010847238.3A CN112422935A (zh) 2019-08-23 2020-08-21 终端装置的控制方法以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019152634A JP2021033038A (ja) 2019-08-23 2019-08-23 端末装置の制御方法、および、端末装置の制御プログラム

Publications (1)

Publication Number Publication Date
JP2021033038A true JP2021033038A (ja) 2021-03-01

Family

ID=74647009

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019152634A Withdrawn JP2021033038A (ja) 2019-08-23 2019-08-23 端末装置の制御方法、および、端末装置の制御プログラム

Country Status (3)

Country Link
US (1) US11164547B2 (ja)
JP (1) JP2021033038A (ja)
CN (1) CN112422935A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022015597A (ja) * 2020-07-09 2022-01-21 キヤノン株式会社 電子機器およびその制御方法
JP2022099487A (ja) * 2020-12-23 2022-07-05 セイコーエプソン株式会社 画像表示システム、画像表示システムの制御方法、及び、表示装置の制御方法
US11924560B2 (en) * 2021-07-14 2024-03-05 Stereyo Bv Methods for improved camera view in studio applications

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005192151A (ja) * 2003-12-26 2005-07-14 Ricoh Co Ltd 携帯型電子機器および画像・映像表示方法
JP2013205963A (ja) * 2012-03-27 2013-10-07 Kyocera Corp 装置、方法、及びプログラム
JP2014102795A (ja) * 2012-11-22 2014-06-05 Sharp Corp 情報処理システム、電子機器、情報処理方法、及び情報処理プログラム
US20150029226A1 (en) * 2013-07-25 2015-01-29 Adam Barry Feder Systems and methods for displaying representative images
JP2018132769A (ja) * 2018-03-15 2018-08-23 セイコーエプソン株式会社 画像表示装置、及び、画像表示装置の制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242074A (ja) * 2004-02-27 2005-09-08 Toshiba Corp 情報処理装置
WO2010030985A1 (en) * 2008-09-12 2010-03-18 Gesturetek, Inc. Orienting displayed elements relative to a user
JP2010122485A (ja) 2008-11-20 2010-06-03 Seiko Epson Corp 投射型表示装置
CN103155425B (zh) * 2010-08-13 2015-07-29 Lg电子株式会社 移动终端、显示装置及其控制方法
JP5849560B2 (ja) * 2011-09-20 2016-01-27 セイコーエプソン株式会社 表示装置、プロジェクター、及び、表示方法
JP2015141365A (ja) 2014-01-30 2015-08-03 キヤノン株式会社 投影表示装置
JP6919485B2 (ja) * 2017-10-10 2021-08-18 京セラドキュメントソリューションズ株式会社 画像出力制御装置、画像出力制御方法、画像出力システム及び画像出力制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005192151A (ja) * 2003-12-26 2005-07-14 Ricoh Co Ltd 携帯型電子機器および画像・映像表示方法
JP2013205963A (ja) * 2012-03-27 2013-10-07 Kyocera Corp 装置、方法、及びプログラム
JP2014102795A (ja) * 2012-11-22 2014-06-05 Sharp Corp 情報処理システム、電子機器、情報処理方法、及び情報処理プログラム
US20150029226A1 (en) * 2013-07-25 2015-01-29 Adam Barry Feder Systems and methods for displaying representative images
JP2018132769A (ja) * 2018-03-15 2018-08-23 セイコーエプソン株式会社 画像表示装置、及び、画像表示装置の制御方法

Also Published As

Publication number Publication date
CN112422935A (zh) 2021-02-26
US20210056937A1 (en) 2021-02-25
US11164547B2 (en) 2021-11-02

Similar Documents

Publication Publication Date Title
US11164547B2 (en) Method for controlling terminal apparatus and non-transitory computer-readable storage medium storing a control program for controlling terminal apparatus
JP6753049B2 (ja) プロジェクター、及び、プロジェクターの制御方法。
WO2015159543A1 (ja) 表示システム、表示装置、及び、表示制御方法
JP2013134661A5 (ja) 表示装置、表示システム及び表示装置のデータ供給方法
US9298072B2 (en) Projector having inclination detection section for detecting inclination of projector enclosure and method for controlling the same
JP2013134661A (ja) 表示装置、プロジェクター及び表示システム
JP2013140533A (ja) 表示装置、プロジェクター、表示システム及びデバイスの切替方法
JP2013140533A5 (ja)
JP2016057915A (ja) 端末装置、端末装置の制御方法
JP2019045549A (ja) 画像投写システム、端末装置及び画像投写システムの制御方法
US20160283087A1 (en) Display apparatus, display system, control method for display apparatus, and computer program
JP6064321B2 (ja) 表示装置、及び、表示制御方法
JP6225420B2 (ja) プロジェクター及びその制御方法
JP6117470B2 (ja) 表示装置、プロジェクター、画像表示方法及び表示システム
JP2013083755A (ja) 表示装置、表示装置の制御方法、プログラム
JP6409312B2 (ja) 表示システム、表示装置、及び、表示制御方法
JP6296144B2 (ja) 表示装置、及び、表示制御方法
CN112055185B (zh) 动作方法和显示装置
JP2023043372A (ja) 画像表示方法、及び、プロジェクター
JP6471414B2 (ja) 表示システム、表示装置、及び、表示方法
US11501732B2 (en) Electronic apparatus operating method and electronic apparatus
WO2018047277A1 (ja) 投写型表示装置及び投写映像の調整方法
JP7302640B2 (ja) 表示装置の動作方法および表示装置
JP2018205478A (ja) 表示装置および表示装置の制御方法
JP2012242927A (ja) 移動端末装置、移動端末装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201027

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210916

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20211025