JP6138453B2 - テレビ電話機能付き機器、プログラムおよびテレビ電話機能付き機器の制御方法 - Google Patents

テレビ電話機能付き機器、プログラムおよびテレビ電話機能付き機器の制御方法 Download PDF

Info

Publication number
JP6138453B2
JP6138453B2 JP2012237571A JP2012237571A JP6138453B2 JP 6138453 B2 JP6138453 B2 JP 6138453B2 JP 2012237571 A JP2012237571 A JP 2012237571A JP 2012237571 A JP2012237571 A JP 2012237571A JP 6138453 B2 JP6138453 B2 JP 6138453B2
Authority
JP
Japan
Prior art keywords
transmission
unit
destination device
moving image
communication destination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012237571A
Other languages
English (en)
Other versions
JP2014090230A (ja
Inventor
敬一 平田
敬一 平田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2012237571A priority Critical patent/JP6138453B2/ja
Priority to PCT/JP2013/079144 priority patent/WO2014069407A1/ja
Publication of JP2014090230A publication Critical patent/JP2014090230A/ja
Priority to US14/699,651 priority patent/US9426187B2/en
Application granted granted Critical
Publication of JP6138453B2 publication Critical patent/JP6138453B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1086In-session procedures session scope modification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10Architectures or entities
    • H04L65/1059End-user terminal functionalities specially adapted for real-time communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145Handheld terminals
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Telephone Function (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、テレビ電話機能を備える携帯電話機、PDA(Personal DigitalAssistant)、タブレットPC(Tablet PC)等のテレビ電話機能付き機器に関する。また、本発明は、かかるテレビ電話機能付き機器に用いて好適なプログラムおよび制御方法に関する。
従来、テレビ電話機能を備える携帯電話機が知られている。テレビ電話機能が実行されると、互いの携帯電話機において、カメラで撮影した動画(動画データ)が音声とともに送受信される。これにより、ユーザは、表示面に表示された通信相手の動画を見ながら通信相手との通話を行うことができる。
テレビ電話機能においては、動画の送受信を行うため、互いの携帯電話機の間で大量のデータのやり取りが行われる。
なお、送信装置から通信端末へ画像が送信されるシステムにおいて、送信される画像における通信端末側利用者の視線が向けられている領域を高解像度とし、送信される画像における他の領域を低解像度とする画像データの伝送方法が既に知られている(特許文献1参照)。
特許第4456791号公報
テレビ電話機能を備える携帯電話機では、上述したように、互いの携帯電話機の間で大量のデータのやり取りが必要となるため、携帯電話機の消費電力が増加するとの課題、携帯電話機の処理負荷が増加するとの課題、さらには、ネットワークリソースの確保が困難になるとの課題が生じ得る。
本発明は、機器の消費電力の低減および処理負荷の軽減を図ることができるとともに、ネットワークリソースの有効活用を図ることができるテレビ電話機能付き機器、プログラムおよびテレビ電話機能付き機器の制御方法を提供することを目的とする。
本発明の第1の態様に係るテレビ電話機能付き機器は、データの送受信を行う通信部と、被写体を撮影する撮影部と、音声の入力を受け付ける音声入力部と、音声を出力する音声出力部と、表示面を有する表示部と、前記撮影部により撮影された動画および前記音声入力部に入力された音声を、前記通信部を介して通信先の機器へ送信し、前記通信部に前記通信先の機器からの動画および音声が受信されると、受信された動画を前記表示面に設定された表示領域に表示するとともに、受信された音声を前記音声出力部から出力する通話制御部と、を備える。ここで、前記通話制御部は、ユーザが前記表示領域に表示された動画を見ていないと看做されるための第1判定条件が満たされた場合に、前記通信先の機器に動画の送信を抑制させるための送信抑制信号を出力する。
本態様に係るテレビ電話機能付き機器において、前記通話制御部は、前記送信抑制信号
により前記通信先の機器からの動画の送信が抑制されている状態において、ユーザが前記表示領域に表示された動画を見ていると看做されるための第2判定条件が満たされた場合に、前記通信先の機器に動画の送信の抑制を解除させるための抑制解除信号を出力するような構成とされ得る。
本態様に係るテレビ機能付き機器は、前記表示面上におけるユーザの視線位置を検出する視線検出部をさらに備えるような構成とされ得る。この場合、前記通話制御部は、前記視線位置が前記表示領域から外れたことに基づいて前記送信抑制信号を出力し、前記視線位置が前記表示領域内に復帰したことに基づいて前記抑制解除信号を出力する。
本態様に係るテレビ電話機能付き機器において、前記通話制御部は、前記表示面に前記表示領域を含む第1判定領域を設定し、前記第1判定領域内に位置していた前記視線位置が前記第1判定領域外へ移動したことに基づいて前記送信抑制信号を出力し、前記第1判定領域外に位置していた前記視線位置が前記第1判定領域内へ移動したことに基づいて前記抑制解除信号を出力するような構成とされ得る。
このような構成とした場合、さらに、前記第1判定領域は前記表示領域よりも広くされ得る。
本態様に係るテレビ電話機能付き機器において、前記送信抑制信号は、前記通信先の機器に動画の送信を停止させるための送信停止信号または前記通信先の機器に動画の転送レートを低下させるためのレート低下信号を含み得る。
このような構成とした場合、さらに、前記通話制御部は、前記第1判定領域の周囲に第2判定領域を設定し、前記第2判定領域外に位置していた前記視線位置が前記第2判定領域内に移動したことに基づいて、前記レート低下信号を出力し、前記第2判定領域の外側の領域より内側に位置していた前記視線位置が前記外側の領域内に移動したことに基づいて、前記送信停止信号を出力するような構成とされ得る。
前記送信抑制信号が前記送信停止信号を含むような構成とした場合、前記送信停止信号は、前記通信先の機器に動画の送信を停止させるとともに動画に替えて前記撮影部により撮影された静止画を所定の更新時間間隔で送信させるための第1停止信号、および前記通信先の機器に動画の送信を停止させるとともに前記撮影部により撮影された静止画を送信させない第2停止信号を含み得る。
このような構成とした場合、さらに、前記通話制御部は、前記第1判定領域の周囲に第2判定領域を設定するとともに当該第2判定領域の周囲に第3判定領域を設定し、前記第2判定領域外に位置していた前記視線位置が前記第2判定領域内に移動したことに基づいて、前記レート低下信号を出力し、前記第3判定領域外に位置していた前記視線位置が前記第3判定領域内に移動したことに基づいて、前記第1停止信号を出力し、前記第3判定領域の外側の領域より内側に位置していた前記視線位置が前記外側の領域内に移動したことに基づいて、前記第2停止信号を出力するような構成とされ得る。
本態様に係るテレビ電話機能付き機器は、前記テレビ電話機能付き機器への検出対象物の近接を検出する近接検出部をさらに備えるような構成とされ得る。この場合、前記通話制御部は、前記近接検出部により検出対象物の近接が検出されなくなったことに基づいて前記送信抑制信号を出力する。
本態様に係るテレビ電話機能付き機器は、前記撮影部により撮影された画像の中からユーザの画像を検出する画像検出部をさらに備えるような構成とされ得る。この場合、前記
通話制御部は、前記画像検出部によりユーザの画像が検出されなくなったことに基づいて前記送信抑制信号を出力する。
本発明の第2の態様に係るテレビ電話機能付き機器は、データの送受信を行う通信部と、被写体を撮影する撮影部と、音声の入力を受け付ける音声入力部と、音声を出力する音声出力部と、表示面を有する表示部と、前記撮影部により撮影された動画および前記音声入力部に入力された音声を、前記通信部を介して通信先の機器へ送信し、前記通信先の機器から前記通信部に動画および音声が受信されると、受信された動画を前記表示面に表示するとともに、受信された音声を前記音声出力部から出力する通話制御部と、を備える。ここで、前記通話制御部は、ユーザが前記通信先の機器の表示面に表示された動画を見ていないと看做されるための第1判定条件が満たされた場合に前記通信先の機器から出力される送信抑制信号に基づいて、前記通信先の機器への動画の送信を抑制する。
本発明の第3の態様に係るプログラムは、データの送受信を行う通信部と、被写体を撮影する撮影部と、音声の入力を受け付ける音声入力部と、音声を出力する音声出力部と、表示面を有する表示部と、を備え、前記撮影部により撮影された動画および前記音声入力部に入力された音声を、前記通信部を介して通信先の機器へ送信し、前記通信部に前記通信先の機器からの動画および音声が受信されると、受信された動画を前記表示面に設定された表示領域に表示するとともに、受信された音声を前記音声出力部から出力するテレビ電話機能付き機器のコンピュータに、ユーザが前記表示領域に表示された動画を見ていないと看做されるための第1判定条件が満たされたか否かを判定する機能と、前記第1判定条件が満たされたと判定された場合に、前記通信先の機器に動画の送信の抑制を解除させるための抑制解除信号を出力する機能と、を付与する。
本発明の第4の態様は、データの送受信を行う通信部と、被写体を撮影する撮影部と、音声の入力を受け付ける音声入力部と、音声を出力する音声出力部と、表示面を有する表示部と、を備え、前記撮影部により撮影された動画および前記音声入力部に入力された音声を、前記通信部を介して通信先の機器へ送信し、前記通信部に前記通信先の機器からの動画および音声が受信されると、受信された動画を前記表示面に設定された表示領域に表示するとともに、受信された音声を前記音声出力部から出力するテレビ電話機能付き機器の制御方法に関する。本態様に係る制御方法は、ユーザが前記表示領域に表示された動画を見ていないと看做されるための第1判定条件が満たされたか否かを判定するステップと、前記第1判定条件が満たされたと判定された場合に、前記通信先の機器に動画の送信の抑制を解除させるための抑制解除信号を出力するステップと、を含む。
本発明によれば、機器の消費電力の低減および処理負荷の軽減を図ることができるとともに、ネットワークリソースの有効活用を図ることができるテレビ電話機能付き機器、プログラムおよびテレビ電話機能付き機器の制御方法を提供することができる。
本発明の効果ないし意義は、以下に示す実施形態の説明によりさらに明らかとなろう。ただし、以下の実施形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施形態に記載されたものに何ら制限されるものではない。
実施の形態に係る、携帯電話機の構成を示す図である。 実施の形態に係る、携帯電話機の全体構成を示すブロック図である。 実施の形態に係る、視線検出部による視線位置の検出について説明するための図である。 実施の形態に係る、動画・音声受信処理の処理手順を示すフローチャートである。 実施の形態に係る、テレビ電話の通話時に表示面に表示されるテレビ電話画面の一例を示す図である。 実施の形態に係る、動画データ量調整処理の処理手順を示すフローチャートである。 実施の形態に係る、動画・音声送信処理の処理手順を示すフローチャートである。 実施の形態に係る、ユーザAとユーザBとが携帯電話機を使用してテレビ電話を行う場合の例を示す図である。 実施の形態に係る、ユーザAが、ユーザBおよびユーザCの二者と同時にテレビ電話を行った場合の例を示す図である。 変更例1に係る、動画データ量調整処理の処理手順を示すフローチャートである。 変更例1に係る、動画データ量調整処理の処理手順を示すフローチャートである。 変更例1に係る、動画標準送信領域の周囲に設定される動画送信抑制領域、第1静止画送信領域および第2静止画送信領域を示す図である。 変更例1に係る、動画・音声送信処理について説明するための図である。 変更例2に係る、携帯電話機の全体構成を示すブロック図である。 変更例2に係る、動画データ量調整処理の処理手順を示すフローチャートである。 変更例3に係る、携帯電話機の全体構成を示すブロック図である。 変更例3に係る、動画データ量調整処理の処理手順を示すフローチャートである。 その他の変更例について説明するための図である。
以下、本発明の実施形態について、図面を参照して説明する。
図1は、携帯電話機1の構成を示す図である。図1(a)および(b)は、それぞれ、携帯電話機1の正面図および背面図である。
以下、説明の便宜上、図1に示すように、キャビネット2の長手方向を上下方向と定義し、キャビネット2の短手方向を左右方向と定義する。
携帯電話機1は、キャビネット2と、表示面3と、マイクロフォン4と、通話スピーカ5と、キー操作部6と、外部スピーカ7と、カメラ8と、赤外線カメラ9と、赤外線LED10を備えている。
キャビネット2は、正面から見て、ほぼ長方形状を有する。キャビネット2の正面に、後述する表示部13の表示面3が配されている。表示面3には、各種の画像(画面)が表示される。
キャビネット2の内部には、下端部にマイクロフォン4が配されており、上端部に通話スピーカ5が配されている。マイクロフォン4には、キャビネット2の正面に形成されたマイク孔4aを通じて音声が入力される。マイクロフォン4は、入力した音に応じた電気信号を生成する。通話スピーカ5からは、音声が出力される。出力された音声は、キャビネット2の正面に形成された出力孔5aを通じて外部に放出される。
キャビネット2の正面には、キー操作部6が設けられている。キー操作部6は、設定キ
ー6a、ホームキー6b、およびバックキー6cから構成されている。設定キー6aは、主に、各種設定を行う設定画面を表示面3に表示させるためのキーである。ホームキー6bは、主に、ホーム画面を表示面3に表示させるためのキーである。バックキー6cは、主に、実行された処理を1ステップ前の処理に戻すためのキーである。
キャビネット2の内部には、外部スピーカ7が配されている。キャビネット2の背面には、外部スピーカ7に対応する出力孔7aが形成されている。外部スピーカ7から出力された音(音声、報知音等)は、出力孔7aを通じて外部に放出される。
通話スピーカ5の右隣りには、カメラ8が配されている。キャビネット2の正面には、レンズ窓8aが設けられており、レンズ窓8aを通じて被写体の像がカメラ8に取り込まれる。
通話スピーカ5の左隣りには、赤外線カメラ9が配されている。キャビネット2の正面には、レンズ窓9aが設けられており、レンズ窓9aを通じて被写体の像が赤外線カメラ9に取り込まれる。
マイクロフォン4の左隣りには、赤外光を発する赤外線LED10が配されている。赤外線LED10の発光面は外部に露出している。赤外線LED10は、キャビネット2の左右方向において、赤外線カメラ9と同じ位置に配されている。
図2は、携帯電話機1の全体構成を示すブロック図である。携帯電話機1は、制御部11と、記憶部12と、表示部13と、タッチ検出部14と、音声入力部15と、音声出力部16と、音声処理部17と、キー入力部18と、通信部19と、第1撮影部20と、第2撮影部21と、赤外光出力部22とを備えている。
記憶部12は、ROM、RAM、外部メモリー等から構成される。記憶部12には、各種のプログラムが記憶されている。記憶部12に記憶されるプログラムは、携帯電話機1の各部を制御するための制御プログラムの他、各種アプリケーション(たとえば、電話、電子メール、電話帳、地図、ゲーム、スケジュール管理等)を含む。プログラムは、メーカによって携帯電話機1の製造時に記憶部12に記憶される他、ユーザによって通信網や記憶媒体を介して記憶部12に記憶される。
記憶部12には、プログラムの実行の際、一時的に利用または生成されるデータを記憶する図示しないワーキング領域も含まれる。
制御部11は、CPU等から構成されている。制御部11は、プログラムに従って、携帯電話機1を構成する各部(記憶部12、表示部13、タッチ検出部14、音声入力部15、音声出力部16、音声処理部17、キー入力部18、通信部19、第1撮影部20、第2撮影部21、赤外光出力部22等)を制御する。
表示部13は、液晶ディスプレイ等から構成される。表示部13は、制御部11からの制御信号と画像信号に基づき、表示面3に画像(画面)を表示する。表示部13は、液晶ディスプレイに限らず、有機ELディスプレイ等、他の表示装置から構成されてもよい。
タッチ検出部14は、表示面3への指の接触を検出するタッチパネル等から構成されている。タッチパネルは、透明なシート状に形成され、表示面3上を覆いキャビネット2の正面に配される。タッチパネルは、静電容量式、超音波式、感圧式、抵抗膜式、光検知式等、各種方式のタッチパネルであってよい。
タッチ検出部14は、前記表示面3へのユーザによるタッチ操作を受け付ける。即ち、タッチ検出部14は、指が触れた表示面3上の位置をタッチ位置として検出し、検出したタッチ位置に応じた位置信号を制御部11へ出力する。
ユーザは、表示面3に指を触れることにより各種のタッチ操作を行うことができる。タッチ操作の種類として、タップ操作、フリック操作、スライド操作等が挙げられる。タップ操作は、表示面3に指を接触させた後、短時間のうちに表示面3より指を離す操作である。フリック操作は、表示面3を指で任意の方向に弾く操作である。スライド操作は、表示面3に指を接触させたまま任意の方向へ移動させる操作である。フリック操作およびスライド操作は、タッチ位置の移動を伴うタッチ操作である。
タッチ操作についてより具体的に説明する。たとえば、タッチ検出部14により表示面3に対するタッチ位置が検出された後、予め定めた第1時間以内にタッチ位置が検出されなくなった場合、制御部11によりタップ操作がなされたと判定される。タッチ検出部14により表示面3に対するタッチ位置が検出され、予め定めた第2時間以内に予め定めた第1距離以上タッチ位置が移動した後、タッチ位置が検出されなくなった場合、制御部11によりフリック操作がなされたと判定される。タッチ検出部14により表示面3に対するタッチ位置が検出された後、予め定めた第2距離以上タッチ位置が移動すると、制御部11によりスライド操作がなされたと判定される。
音声入力部15は、マイクロフォン4等から構成される。音声入力部15は、マイクロフォン4からの電気信号を音声処理部17へ出力する。
音声出力部16は、通話スピーカ5および外部スピーカ7を含む。音声出力部16には、音声処理部17からの電気信号が入力され、通話スピーカ5または外部スピーカ7から音(音声、報知音等)が出力される。
音声処理部17は、音声入力部15からの電気信号にA/D変換等を施し、変換後のデジタルの音声信号を制御部11へ出力する。音声処理部17は、制御部11からのデジタルの音声信号にデコード処理およびD/A変換等を施し、変換後の電気信号を音声出力部16に出力する。
キー入力部18は、キー操作部6の各操作キーが押下されたときに、押下された操作キーに応じた信号を制御部11へ出力する。
通信部19は、通話や通信を行うため、信号を変換するための回路、電波を送受信するアンテナ等を備える。通信部19は、制御部11から入力される通話や通信のための信号を無線信号に変換し、変換された無線信号を、アンテナを介して基地局や他の通信装置等の通信先へ送信する。さらに、通信部19は、アンテナを介して受信した無線信号を制御部11が利用できる形式の信号へ変換し、変換された信号を制御部11へ出力する。
第1撮影部20は、カメラ8等により構成され、カメラ8により撮影された画像の画像データに各種の画像処理を施し、画像処理後の画像データを制御部11に出力する。
第2撮影部21は、赤外線カメラ9等により構成され、赤外線カメラ9により撮影された画像の画像データに画像処理を施し、モノクロの画像データを制御部11に出力する。
赤外光出力部22は、赤外線LED10、LED駆動回路等により構成される。LED駆動回路は、制御部11からの制御信号に従って赤外線LED10を駆動する。
本実施の形態の携帯電話機1は、テレビ電話機能を備える。テレビ電話機機能を実行するため、制御部11は、視線検出部31と、通話制御部32を備える。
視線検出部31は、第2撮影部21(赤外線カメラ9)により撮影されたユーザの目の動きに基づいて、表示面3上におけるユーザの視線位置を検出する。
図3は、視線検出部31による視線位置の検出について説明するための図である。図3を参照し、視線位置の検出について詳細に説明する。
視線位置の検出のために、赤外線カメラ9による撮影が行われるとともに赤外線LED10から赤外光が発せられる。ユーザが、表示面3に目を向けると、赤外線カメラ9により、ユーザの目と目に反射した赤外光(以下、「反射光」という)とを含む画像が撮影される。
視線検出部31は、赤外線カメラ9による撮影画像から瞳孔および反射光を検出し、図3(a)に示すように、反射光の中心Aから瞳孔の中心Bに向けたベクトル(以下、「視線ベクトル」という)を算出する。視線ベクトルは、赤外線カメラ9による撮影画像に対応する予め定められた座標系を用いることにより算出される。
視線位置の検出方法について具体的に説明する。表示面3は、グリッドにより複数の領域に分割されている。図3(b)には、一例として、表示面3が縦11列、横5列の55個の領域に分割された構成が示されている。各分割領域には、識別情報D1〜D55が付され、各識別情報に対応して各分割領域の位置と大きさを示す座標の情報が記憶部12に記憶される。なお、図3(b)の例に限られず、分割領域の個数や形状は任意に設定され得る。
図3(c)は、ユーザが最上列の左端の分割領域D1を注視したときの目の動きを例示する図であり、図3(d)は、ユーザが最上列の右端の分割領域D5を注視したときの目の動きを例示する図である。図3(c)および(d)に示すように、ユーザの視線の変化に応じて、反射光と瞳孔との位置関係が変化し、視線ベクトルが変化する。
視線位置の検出が行われる前には校正処理が行われる。校正処理では、たとえば、各分割領域が順番に所定の色に変化することにより、ユーザの視線が各分割領域に誘導される。ユーザが各分割領域を注視したときの視線ベクトルが視線検出部31により算出され、基準ベクトルとして記憶部12に記憶される。
視線位置の検出が行われた際、視線検出部31は、実際に取得された視線ベクトルと最も近似する基準ベクトルを検出することにより、基準ベクトルに対応する分割領域にユーザの視線位置があると決定する。また、視線検出部31は、実際に取得された視線ベクトルに近似する基本ベクトルが存在しない場合、ユーザの視線位置が表示面3から外れていると決定する。
通話制御部32は、テレビ電話機能に係る通話を制御する。即ち、テレビ電話の通信路が確立されて、通話が開始されると、通話制御部32は、後述する動画・音声受信処理、動画・音声送信処理および動画データ量調整処理を並列して実行する。これらの処理は、記憶部12に記憶された制御プログラムに従って実行される。
動画・音声受信処理において、通話制御部32は、通信部19に通信先の機器からの動画および音声が受信されると、受信された動画を表示面3に設定された映像表示領域RAに表示するとともに、受信された音声を外部スピーカ7から出力する。
動画・音声送信処理において、通話制御部32は、第1撮影部20(カメラ8)により撮影された動画(動画データ)および音声入力部15に入力された音声(音声データ)を、通信部19を介して通信先の機器(たとえば、携帯電話機)へ送信する。また、動画・音声送信処理において、通話制御部32は、通信先の機器の表示面上に設定された映像表示領域からユーザの視線位置が外れた場合に通信先の機器から出力される送信停止信号に基づいて、通信先の機器への動画の送信を停止し、視線位置が映像表示領域に復帰した場合に通信先の機器から出力される抑制解除信号に基づいて、通信先の機器への動画の送信を再開する。
動画データ量調整処理において、通話制御部32は、視線検出部31による検出結果に基づいて、ユーザの視線位置が映像表示領域RAから外れたか否かを判定する。通話制御部32は、視線位置が映像表示領域RAから外れたことに基づいて、通信先の機器に動画の送信を抑制させるための送信抑制信号を出力する。さらに、通話制御部32は、視線検出部31による検出結果に基づいて、ユーザの視線位置が映像表示領域RA内に復帰したか否かを判定する。通話制御部32は、視線位置が映像表示領域RA内に復帰したことに基づいて、通信先の機器に動画の送信の抑制を解除させるための抑制解除信号を出力する。
以下、動画・音声受信処理、動画・音声送信処理、および動画データ量調整処理について、詳細に説明する。
図4は、動画・音声受信処理の処理手順を示すフローチャートである。図5は、テレビ電話の通話時に表示面3に表示されるテレビ電話画面101の一例を示す図である。図4および図5を参照して、動画・音声受信処理について説明する。
処理が開始されると、通話制御部32は、図5に示すようなテレビ電話画面101を表示面3に表示する(S101)。さらに、通話制御部32は、表示面3上、即ちテレビ電話画面101上に映像表示領域RAを設定する(S102)。なお、本実施の形態において、テレビ電話機能の実行時には、携帯電話機1が横向きの状態で使用され、横向きに対応するテレビ電話画面101が表示面3に表示される。テレビ電話画面101において、映像表示領域RAより外側の領域には、通信相手の連絡先情報などテレビ電話に係る情報やその他の情報が表示される。
通信先の機器、たとえば携帯電話機からは、携帯電話機のカメラで撮影された通信相手の動画(動画データ)、および通信相手が発した音声(音声データ)が送信される。通話制御部32は、携帯電話機からの動画および音声の受信を開始する(S103)。なお、通信先の携帯電話機は、本実施の形態の携帯電話機1と同様な構成を有し、後述する動画・音声送信処理を実行する。
通話制御部32は、動画が受信されなくなったか否かを監視する(S104)。ユーザの視線が映像表示領域RA内に向けられている場合には、後述の動画データ量調整処理において、送信停止信号が出力されず、通信先の携帯電話機が動画の送信を停止しないため、動画の受信が継続される。通話制御部32は、動画の受信が継続されている場合(S104:NO)、受信した動画を映像表示領域RAに表示する(S105)。さらに、通話制御部32は、受信した音声を外部スピーカ7から出力する(S106)。
ユーザによりテレビ電話を終了させる操作、たとえば、通話を終了する操作やテレビ電話から通常の音声による電話に切り替える操作がなされなければ(S107:NO)、ステップS104からS107の処理が繰り返される。
ユーザの視線が映像表示領域RA内から外れた場合には、後述の動画データ量調整処理において、送信停止信号が出力され、通信先の携帯電話機が動画の送信を停止する。
通話制御部32は、動画が受信されなくなると(S104:YES)、受信された動画の最後のフレームの画像を映像表示領域RAに表示させ続け(S108)、受信した音声を外部スピーカ7から出力する(S109)。
通話制御部32は、動画の受信が再開された否かを監視する(S110)。動画の受信が再開されない場合には(S110:NO)、テレビ電話を終了させる操作がなされたか否かを判定する(S111)。テレビ電話を終了させる操作がなされなければ(S111:NO)。ステップS108からS111の処理が繰り返される。
ユーザの視線が再び映像表示領域RA内に向けられると、後述の動画データ量調整処理において、抑制解除信号が出力され、通信先の携帯電話機が動画の送信再開する。動画か再び受信されると(S110:YES)、通話制御部32は、受信した動画を映像表示領域RAに表示する(S105)。
通話制御部32は、テレビ電話を終了させる操作がなされると(S107:YES、S111:YES)、動画および音声の受信を停止し(S112)、テレビ電話画面101を閉じる(S113)。こうして、動画・音声受信処理が終了する。なお、既に、動画の送信が停止されている場合には、ステップS112の処理において、音声の受信のみが停止される。
図6は、動画データ量調整処理の処理手順を示すフローチャートである。図7を参照して、動画データ量調整処理について説明する。
処理が開始されると、通話制御部32は、図5に示すように、表示面3上、即ち、通話・音声受信処理により表示面3に表示されたテレビ電話画面101上に動画標準送信領域RBを設定する(S201)。動画標準送信領域RBは、ユーザの視線位置が映像表示領域RAから外れたか否かおよび映像表示領域RAに復帰したか否かの判定に用いるために設定される。動画標準送信領域RBは、映像表示領域RAを含み、且つ映像表示領域RAよりも僅かに広くされている。
たとえば、動画標準送信領域RBに割り当てられる分割領域と動画標準送信領域RBの外の領域に割り当てられる分割領域とが決定され、記憶部12に記憶される。ユーザの視線位置が何れの分割領域に位置するかが検出されることにより、視線位置が動画標準送信領域RB内に位置するか動画標準送信領域RB外に位置するかの判定を行うことができる。
通話制御部32は、赤外線カメラ9および赤外線LED10を作動させ、視線検出部31に、ユーザの視線位置の検出を開始させる(S202)。通話制御部32は、視線検出部31による検出結果に基づいて、動画標準送信領域RB内に位置していたユーザの視線位置が動画標準送信領域RB外へ移動したか否かを判定する(S203)。さらに、通話制御部32は、動画標準送信領域RB外に位置していたユーザの視線位置が動画標準送信領域RB内へ移動したか否かを判定する(S204)。
ユーザが表示面3の一点に視線を向けた場合であっても、ユーザの視線位置は常に一定でなく僅かに揺れる。このため、動画標準送信領域RBの境界付近にユーザの視線が向けられた場合、視線の揺れによって、動画標準送信領域RB内への視線位置の出入りが繰り
返され、送信停止信号と抑制解除信号の出力が繰り返されてしまう虞がある。このような問題を解消するため、本実施の形態では、通話制御部32は、視線位置が、動画標準送信領域RB外へ移動した後に一定時間、動画標準送信領域RB外に留まった場合に、視線位置が動画標準送信領域RB外へ移動したと判定する。同様に、通話制御部32は、視線位置が、動画標準送信領域RB内へ移動した後に一定時間、動画標準送信領域RB内に留まった場合に、視線位置が動画標準送信領域RB内へ移動したと判定する。
ユーザが映像表示領域RA内から視線を外すことにより、視線位置が動画標準送信領域RB外へ移動し、一定時間、動画標準送信領域RB外に留まる。通話制御部32は、視線位置が動画標準送信領域RB外へ移動したと判定すると(S203:YES)、通信部19を介して送信停止信号を通話先の携帯電話機へ送信する(S205)。通信先の携帯電話機は、送信停止信号を受信すると、動画の送信を停止する。
その後、ユーザが外した視線を映像表示領域RAに復帰させることにより、視線位置が動画標準送信領域RB内へ移動し、一定時間、動画標準送信領域RB内に留まる。通話制御部32は、視線位置が動画標準送信領域RB内へ移動されたと判定すると(S204:YES)、通信部19を介して抑制解除信号を通話先の携帯電話機へ送信する(S206)。通信先の携帯電話機は、抑制解除信号を受信すると、動画の送信を再開する。
通話制御部32は、ユーザによりテレビ電話を終了させる操作がなされると(S207:YES)、赤外線カメラ9および赤外線LED10を停止させ、視線検出部31に、ユーザの視線位置の検出を終了させる(S208)。こうして、動画データ量調整処理が終了する。
図7は、動画・音声送信処理の処理手順を示すフローチャートである。図7を参照して、動画・音声送信処理について説明する。
処理が開始されると、通話制御部32は、カメラ8およびマイクロフォン4を作動する(S301)。通話制御部32は、カメラ8で撮影されたユーザの動画(動画データ)の送信、およびマイクロフォン4に入力された音声(音声データ)の送信を開始する(S302)。
通話制御部32は、通信先の携帯電話機からの送信停止信号を受信したか否かを判定する(S303)。
通信先の携帯電話機において、上述した図6の動画データ量調整処理が実行される場合、通信相手が映像表示領域RAから視線を外すと、通信先の携帯電話機から送信停止信号が出力される。通話制御部32は、送信停止信号を受信すると(S303:YES)、通信先の携帯電話機への動画の送信を停止する(S304)。
通話制御部32は、通信先の携帯電話機から抑制解除信号を受信したか否かを判定する(S305)。
通信先の携帯電話機において、通信相手が映像表示領域RAに視線を戻すと、抑制解除信号が出力される。通話制御部32は、抑制解除信号を受信すると(S305:YES)、通信先の携帯電話機への動画の送信を再開する(S306)。
通話制御部32は、テレビ電話を終了させる操作がなされると(S307:YES、S308:YES)、動画および音声の送信を停止し(S309)、カメラ8およびマイクロフォン4を停止させる(S310)。こうして、動画・音声送信処理が終了する。なお
、既に、動画の送信が停止されている場合には、ステップS309の処理において、音声の送信のみが停止される。
図8は、ユーザAとユーザBとが携帯電話機1を使用してテレビ電話を行う場合の例を示す図である。図8(a)は、ユーザAの携帯電話機1とユーザBの携帯電話機1との間で行われる動作を示す図である。図8(b)は、ユーザAが映像表示領域RAに視線を向けている様子を示す図である。図8(c)は、ユーザAが映像表示領域RAから視線を外した様子を示す図である。
図8(b)に示すように、ユーザAが映像表示領域RAに視線を向けている間は、ユーザAの携帯電話機1からユーザBの携帯電話機1へ動画および音声が送信され、ユーザBの携帯電話機1からユーザAの携帯電話機1へ動画および音声が送信される。ユーザAの携帯電話機1では、映像表示領域RAに通信相手の動画が表示される。
その後、図8(c)に示すように、ユーザAが映像表示領域RAから視線を外すと、視線が外れたと判定されて、ユーザAの携帯電話機1からユーザBの携帯電話機1へ送信停止信号が送信される。これにより、ユーザBの携帯電話機1では、動画の送信が停止され、ユーザBの携帯電話機1からは、音声のみが送信される。ユーザAの携帯電話機1では、映像表示領域RAに、送信停止前に表示されていた動画の最後のフレームの画像が表示される。
その後、図8(b)に示すように、ユーザAが映像表示領域RAに視線を戻すと、視線が戻ったと判定されて、ユーザAの携帯電話機1からユーザBの携帯電話機1へ抑制解除信号が送信される。これにより、ユーザBの携帯電話機1では、動画の送信が再開され、ユーザBの携帯電話機1からは、再び、動画および音声が送信される。
図9は、ユーザAが、ユーザBおよびユーザCの二者と同時にテレビ電話を行った場合の例を示す図である。図9(a)は、ユーザAがユーザBに対応する映像表示領域RA1に視線を向けている様子を示す図である。図9(b)は、ユーザAがユーザCに対応する映像表示領域RA2に視線を向けている様子を示す図である。図9(c)は、ユーザAが映像表示領域RA1および映像表示領域RA2から視線を外した様子を示す図である。
ユーザAの携帯電話機1では、ユーザBとのテレビ電話に対応する動画・音声受信処理、動画・音声送信処理、および動画データ量調整処理と、ユーザCとのテレビ電話に対応する動画・音声受信処理、動画・音声送信処理、および動画データ量調整処理とが並列して実行される。
表示面3に表示されたテレビ電話画面101には、ユーザBに対応する映像表示領域RA1とユーザCに対応する映像表示領域RA2とが設定される。さらに、テレビ電話画面101には、ユーザBに対応する動画標準送信領域RB1とユーザCに対応する動画標準送信領域RB2とが設定される。
図9(a)に示すように、ユーザAが映像表示領域RA1に視線を向けている場合、ユーザAの携帯電話機1からユーザCの携帯電話機1へ送信停止信号が出力され、ユーザCの携帯電話機1からの動画の送信が停止される。このため、映像表示領域RA1には動画が表示されるが、映像表示領域RA2には送信停止前に表示されていた動画の最後のフレームの画像が表示される。
図9(b)に示すように、ユーザAが映像表示領域RA2に視線を向けている場合、ユーザAの携帯電話機1からユーザBの携帯電話機1へ送信停止信号が出力され、ユーザB
の携帯電話機1からの動画の送信が停止される。このため、映像表示領域RA2には動画が表示されるが、映像表示領域RA1には送信停止前に表示されていた動画の最後のフレームの画像が表示される。
図9(c)に示すように、ユーザAが映像表示領域RA1および映像表示領域RA2から視線を外した場合、ユーザAの携帯電話機1からユーザBの携帯電話機1とユーザCの携帯電話機1へ送信停止信号が出力され、ユーザBの携帯電話機1およびユーザCの携帯電話機1からの動画の送信が停止される。このため、映像表示領域RA1および映像表示領域RA2には、送信停止前に表示されていた動画の最後のフレームの画像が表示される。
なお、図6に示す動画データ量調整処理において、動画標準送信領域RB内に位置していたユーザの視線位置が動画標準送信領域RB外へ移動したと判定された場合に(S203:YES)、ステップS205の処理で、送信停止信号に替えて、レート低下信号が出力されてもよい。この場合、通信先の携帯電話機1では、図7に示す動画・音声送信処理のステップ304において、通話制御部32が、ユーザの視線位置が動画標準送信領域RB内に位置していたときよりも低い転送レートで動画を送信する。そして、図4に示す動画・音声受信処理のステップS108では、通話制御部32が、それまでの解像度よりも低い解像度の動画を映像表示領域RAに表示する。
以上、本実施の形態によれば、ユーザが、通信先の機器(携帯電話機など)から送信される通信相手の動画を見ていない状態になると、通信先の機器からの動画の送信が抑制される。即ち、通信先の機器からの動画の送信が停止される。あるいは、通信先の機器からの動画の転送レートが低減される。よって、ネットワークを通じて携帯電話機1に受信される動画のデータ量を低減できるので、携帯電話機1の消費電力の低減および処理負荷の軽減を図ることが可能となるとともに、ネットワークリソースの有効活用を図ることが可能となる。
さらに、本実施の形態によれば、動画標準送信領域RBが、映像表示領域RAよりも広い領域となるように設定されている。抑制解除信号が出力されてから動画が再受信されるまでには多少のタイムラグが見込まれるが、このように、映像表示領域RAより広い動画標準送信領域RBまでユーザの視線位置が戻った時点で動画の送信が再開されるので、視線位置が映像表示領域RAに戻った時点で、できるだけ早く動画の表示を再開させることが可能となる。
さらに、本実施の形態によれば、表示面3上におけるユーザの視線位置を検出するようにしているので、ユーザが映像表示領域RAに表示された動画を見ているか否を精度良く判定することができる。
<変更例1>
本変更例では、ユーザの視線位置を判定するために用いられる判定領域として、動画標準送信領域RBの他に、動画標準送信領域RBの周囲に3つの判定領域が設定され、視線位置が何れの判定領域に移動するかに応じて通信先の機器から送信される動画のデータ量が調整される。
図10および図11は、本変更例に係る、動画データ量調整処理の処理手順を示すフローチャートである。図12は、動画標準送信領域RBの周囲に設定される動画送信抑制領域RC、第1静止画送信領域RDおよび第2静止画送信領域REを示す図である。図10ないし図12を参照して、本変更例の動画データ量調整処理について説明する。
処理が開始されると、通話制御部32は、図12に示すように、表示面3上、即ち、通話・音声受信処理により表示面3に表示されたテレビ電話画面101上に各判定領域RB〜REを設定する(S401)。即ち、通話制御部32は、動画標準送信領域RBを設定し、動画標準送信領域RBの周囲に動画送信抑制領域RCを設定する。さらに、通話制御部32は、動画送信抑制領域RCの周囲に第1静止画送信領域RDを設定し、第1静止画送信領域RDの周囲に第2静止画送信領域REを設定する。第2静止画送信領域REの外周は、表示面3の外周とほぼ等しくされている。
通話制御部32は、赤外線カメラ9および赤外線LED10を作動させ、視線検出部31に、ユーザの視線位置の検出を開始させる(S402)。通話制御部32は、視線検出部31による検出結果に基づいて、動画送信抑制領域RC外に位置していたユーザの視線位置が動画送信抑制領域RC内へ移動したか否かを判定する(S403)。また、通話制御部32は、第1静止画送信領域RD外に位置していたユーザの視線位置が第1静止画送信領域RD内へ移動したか否かを判定する(S404)。さらに、通話制御部32は、第2静止画送信領域RE外に位置していたユーザの視線位置が第2静止画送信領域RE内へ移動したか否かを判定する(S405)。さらに、通話制御部32は、第2静止画送信領域REの外側の領域外に位置していたユーザの視線位置が第2静止画送信領域REの外側の領域内へ移動したか否かを判定する(S406)。さらに、通話制御部32は、動画標準送信領域RB外に位置していたユーザの視線位置が動画標準送信領域RB内へ移動したか否かを判定する(S407)。 上記実施の形態と同様、通話制御部32は、視線位置が、各判定領域RB〜REへ移動した後に一定時間、各判定領域RB〜RE内に留まった場合に、視線位置が各判定領域RB〜REへ移動したと判定する。また、通話制御部32は、視線位置が、第2静止画送信領域REの外側の領域へ移動した後に一定時間、外側の領域に留まった場合に、外側の領域へ移動したと判定する。
ユーザが映像表示領域RA、即ち動画標準送信領域RBから視線位置を外し、視線位置が、一定時間、動画送信抑制領域RC内に留まると、通話制御部32は、視線位置が動画送信抑制領域RC内へ移動したと判定する(S403:YES)。これにより、通話制御部32は、通信部19を介してレート低下信号を通話先の携帯電話機へ送信する(S408)。通信先の携帯電話機は、レート低下信号を受信すると、動画の転送レートを低下させ、視線位置が動画標準送信領域RBに位置しているときよりも低い転送レート(低転送レート)で動画を送信する。
映像表示領域RAから外れたユーザの視線位置が、一定時間、第1静止画送信領域RD内に留まると、通話制御部32は、視線位置が第1静止画送信領域RD内へ移動したと判定する(S404:YES)。これにより、通話制御部32は、通信部19を介して第1静止画送信信号(本発明の第1停止信号に相当)を通話先の携帯電話機へ送信する(S409)。通信先の携帯電話機は、第1静止画送信信号を受信すると、動画の送信を停止し、動画に替えて、カメラで撮影した通信相手の静止画を、相対的に短い更新時間間隔(たとえば、10秒間隔)で送信する。
映像表示領域RAから外れたユーザの視線位置が、一定時間、第2静止画送信領域RE内に留まると、通話制御部32は、視線位置が第2静止画送信領域RE内へ移動したと判定する(S405:YES)。これにより、通話制御部32は、通信部19を介して第2静止画送信信号(本発明の第1停止信号に相当)を通話先の携帯電話機へ送信する(S410)。通信先の携帯電話機は、第2静止画送信信号を受信すると、動画の送信を停止し、動画に替えて、カメラで撮影した通信相手の静止画を、相対的に長い更新時間間隔(たとえば、30秒間隔)で送信する。
映像表示領域RAから外れたユーザの視線位置が、一定時間、第2静止画送信領域RE
の外側の領域内に留まると、通話制御部32は、視線位置が第2静止画送信領域REの外側の領域内へ移動したと判定する(S406:YES)。これにより、通話制御部32は、通信部19を介して画像送信停止信号(本発明の第2停止信号に相当)を通話先の携帯電話機へ送信する(S411)。通信先の携帯電話機は、画像送信停止信号を受信すると、動画の送信を停止し、さらに静止画の送信も行わない。
その後、ユーザが外した視線を映像表示領域RAに復帰させることにより、視線位置が動画標準送信領域RB内へ移動し、一定時間、動画標準送信領域RB内に留まると、通話制御部32は、視線位置が動画標準送信領域RB内へ移動されたと判定する(S407:YES)。通話制御部32は、通信部19を介して抑制解除信号を通話先の携帯電話機へ送信する(S412)。通信先の携帯電話機は、抑制解除信号を受信すると、上記低転送レートよりも高い転送レート(高転送レート)での動画の送信を再開する。
通話制御部32は、ユーザによりテレビ電話を終了させる操作がなされると(S413:YES)、赤外線カメラ9および赤外線LED10を停止させ、視線検出部31に、ユーザの視線位置の検出を終了させる(S414)。こうして、動画データ量調整処理が終了する。
図13は、本変更例に係る、動画・音声送信処理について説明するための図である。図13(a)は、動画・音声送信処理の処理手順を示すフローチャートである。図13(b)は、各指令信号に各画像送信処理が割り当てられた割り当てテーブルを示す図である。なお、割り当てテーブルは、記憶部12に記憶されている。
処理が開始されると、通話制御部32は、カメラ8およびマイクロフォン4を作動する(S501)。通話制御部32は、カメラ8で撮影されたユーザの動画(動画データ)の送信、およびマイクロフォン4に入力された音声(音声データ)の送信を開始する(S502)
通話制御部32は、通信先の携帯電話機から、レート低下信号、第1静止画送信信号、第2静止画送信信号、画像送信停止信号および抑制解除信号の何れかの指令信号を受信したか否かを判定する(S503)。通話制御部32は、何れかの指令信号を受信すると(S503:YES)、図13(b)の割り当てテーブルに従い、受信した指令信号に応じた画像送信処理を実行する(S504)。
即ち、通話制御部32は、レート低下信号を受信すると、低転送レートで動画を送信する。また、通話制御部32は、第1静止画送信信号を受信すると、動画の送信を停止し、動画に替えて、カメラ8で撮影したユーザの静止画を、短い更新時間間隔で送信する。さらに、通話制御部32は、第2静止画送信信号を受信すると、動画の送信を停止し、動画に替えて、カメラ8で撮影したユーザの静止画を、短い更新時間間隔で送信する。さらに、通話制御部32は、画像送信停止信号を受信すると、動画の送信を停止し、さらに静止画の送信も行わない。さらに、通話制御部32は、抑制解除信号を受信すると、高転送レートで動画を送信する。
通話制御部32は、テレビ電話を終了させる操作がなされると(S505:YES)、動画(静止画)および音声の送信を停止し(S506)、カメラ8およびマイクロフォン4を停止させる(S507)。こうして、動画・音声送信処理が終了する。なお、既に、動画(静止画)の送信が停止されている場合には、ステップS506の処理において、音声の送信のみが停止される。
本変更例の動画・音声受信処理は、図4に示す上記実施の形態の動画・音声受信処理と同様である。ただし、ステップS108の処理では、通話制御部32は、静止画が受信さ
れれば、静止画を映像表示領域RAに表示し、動画も静止画も受信されなければ、動画の最後のフレームの画像または最後に更新された静止画を映像表示領域RAに表示する。
このようにして、本変更例では、ユーザの視線位置が動画送信抑制領域RCまで外れた場合、映像表示領域RAに低い解像度の動画が表示される。また、ユーザの視線位置が動画送信抑制領域RCの外側の第1静止画送信領域RDまで外れた場合、映像表示領域RAに短い時間間隔で更新される静止画が表示される。さらに、ユーザの視線位置が第1静止画送信領域RDの外側の第2静止画送信領域REまで外れた場合、映像表示領域RAに長い時間間隔で更新される静止画が表示される。さらに、ユーザの視線位置が第2静止画送信領域REの外側の領域まで外れた場合、映像表示領域RAに動画の最後のフレームの画像あるいは最後に更新された静止画が表示される。
以上、本変更例では、ユーザの視線位置が映像表示領域RAから外れる距離に従い、映像表示領域RA内の画像の動きが遅くなるよう、受信される動画のデータ量が段階的に調整される。そのため、映像表示領域RA内の画像の動きが急に変わることによりユーザが覚える違和感を抑制できる。
<変更例2>
上記実施の形態では、ユーザの視線位置が映像表示領域RA(動画標準送信領域RB)から外れた場合に、ユーザが映像表示領域RAに表示された動画を見ていないと看做され、送信抑制信号(送信停止信号、レート低下信号)が出力される。また、ユーザの視線位置が映像表示領域RA内に復帰した場合に、ユーザが映像表示領域RAに表示された動画を見ていると看做され、抑制解除信号が出力される。
本変更例では、ユーザが携帯電話機1の近傍に存在しているか否かが検出され、ユーザが携帯電話機1の近傍からいなくなった場合に、ユーザが映像表示領域RAに表示された動画を見ていないと看做され、送信抑制信号(送信停止信号、レート低下信号)が出力される。また、ユーザが携帯電話機1の近傍へ戻ってきた場合に、ユーザが映像表示領域RAに表示された動画を見ていると看做され、抑制解除信号が出力される。
図14は、本変更例に係る、携帯電話機1の全体構成を示すブロック図である。本変更例の携帯電話機1では、第2撮影部21、赤外光出力部22および視線検出部31に替えて、近接検出部23が備えられている。その他の構成は上記実施の形態と同様である。
近接検出部23は、近接センサ等により構成される。近接検出部23は、検出対象物であるユーザが携帯電話機1の正面に対して所定距離だけ近づくと、検出信号を制御部11に出力する。所定距離は、ユーザがテレビ電話での通話を行っている、即ち、映像表示領域RAに表示された画像を見ているときの携帯電話機1に対するユーザの距離を考慮して予め設定される。近接検出部23により検出信号が出力されているときには、ユーザが携帯電話機1の近傍に存在し、動画を見ていると看做すことができる。
図15は、本変更例に係る、動画データ量調整処理の処理手順を示すフローチャートである。図15を参照して、動画データ量調整処理について説明する。
処理が開始されると、通話制御部32は、近接検出部23の近接センサを作動させる(S501)。通話制御部32は、近接検出部23がユーザを検出している状態からユーザを検出しない状態になったか否かを判定する(S502)。さらに、通話制御部32は、近接検出部23がユーザを検出していない状態からユーザを検出する状態になったか否かを判定する(S503)。
動画を見ていたユーザが携帯電話機1の近傍から離れると、近接検出部23がユーザを検出しなくなる(S502:YES)。これにより、通話制御部32は、通信部19を介して送信停止信号を通話先の携帯電話機へ送信する(S504)。なお、通話制御部32は、送信停止信号に替えて、レート低下信号を出力してもよい。
その後、ユーザが、携帯電話機1の近傍へ戻ると、近接検出部23がユーザを検出する(S503:YES)。これにより、通話制御部32は、通信部19を介して抑制解除信号を通話先の携帯電話機へ送信する(S505)。
通話制御部32は、ユーザによりテレビ電話を終了させる操作がなされると(S506:YES)、近接センサを停止させる(S507)。こうして、動画データ量調整処理が終了する。
なお、本変更例において実行される動画・音声受信処理および動画・音声送信処理は、上記実施の形態と同様である。
以上、本変更例によれば、上記実施の形態と同様、ネットワークを通じて携帯電話機1に受信される動画のデータ量を低減できるので、携帯電話機1の消費電力の低減および処理負荷の軽減を図ることが可能となるとともに、ネットワークリソースの有効活用を図ることが可能となる。
<変更例3>
本変更例では、ユーザの顔画像が第1撮影部20により撮影された画像に含まれているか否かが検出され、ユーザの顔画像が撮影画像内からなくなった場合に、ユーザが映像表示領域RAに表示された動画を見ていないと看做され、送信抑制信号(送信停止信号、レート低下信号)が出力される。また、ユーザの顔画像が撮影画像内に現れた場合に、ユーザが映像表示領域RAに表示された動画を見ていると看做され、抑制解除信号が出力される。
図16は、本変更例に係る、携帯電話機1の全体構成を示すブロック図である。本変更例の携帯電話機1では、第2撮影部21、赤外光出力部22および視線検出部31に替えて、顔検出部33が備えられている。その他の構成は上記実施の形態と同様である。
顔検出部33は、第1撮影部20から撮影画像を取得し、既に周知の顔認識処理を実行することにより、撮影画像内に顔画像が含まれているか否かを検出する。顔検出部33により顔画像が検出されているときには、ユーザが動画を見ていると看做すことができる。
図17は、本変更例に係る、動画データ量調整処理の処理手順を示すフローチャートである。図17を参照して、動画データ量調整処理について説明する。
処理が開始されると、通話制御部32は、顔検出部33に顔画像の検出を開始させる(S601)。通話制御部32は、顔検出部33による検出結果に基づいて、撮影画像内から顔画像がなくなったか否かを判定する(S602)。さらに、通話制御部32は、撮影画像内に顔画像が現れたか否かを判定する(S603)。
動画を見ていたユーザが携帯電話機1から顔を逸らしたり、携帯電話機1のもとから離れたりすると、顔検出部33が顔画像を検出しなくなる。これにより、通話制御部32は、撮影画像内から顔画像がなくなったと判定し(S602:YES)、通信部19を介して送信停止信号を通話先の携帯電話機へ送信する(S604)。なお、通話制御部32は、送信停止信号に替えて、レート低下信号を出力してもよい。
その後、ユーザが、携帯電話機1へ顔を向けて再び動画を見ると、顔検出部33が顔画像を検出する。これにより、通話制御部32は、撮影画像内に顔画像が現れたと判定し(S603:YES)、通信部19を介して抑制解除信号を通話先の携帯電話機へ送信する(S605)。
通話制御部32は、ユーザによりテレビ電話を終了させる操作がなされると(S606:YES)、顔検出部33に顔画像の検出を終了させる(S607)。こうして、動画データ量調整処理が終了する。
なお、本変更例において実行される動画・音声受信処理および動画・音声送信処理は、上記実施の形態と同様である。
上記の例では、ユーザの顔画像の有無が判定されたが、ユーザの身体(顔を含む)の画像の有無が判定され、これに基づいて、送信抑制信号または抑制解除信号が送信されてもよい。
以上、本変更例によれば、上記実施の形態と同様、ネットワークを通じて携帯電話機1に受信される動画のデータ量を低減できるので、携帯電話機1の消費電力の低減および処理負荷の軽減を図ることが可能となるとともに、ネットワークリソースの有効活用を図ることが可能となる。
<その他>
以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態によって何ら制限されるものではなく、また、本発明の実施の形態も、上記以外に種々の変更が可能である。
たとえば、上記実施の形態では、動画標準送信領域RBが映像表示領域RAよりも広くされている。しかしながら、動画標準送信領域RBは、映像表示領域RAと同じ広さとされてもよく、映像表示領域RAより若干狭くされてもよい。
また、上記実施の形態では、テレビ電話画面101の一部が映像表示領域RAに設定されている。しかしながら、テレビ電話画面101の全部が映像表示領域RAに設定されてもよい。
さらに、上記実施の形態において、通話制御部32は、送信停止信号が受信され、動画の送信を停止した場合に、動画に替えて静止画を所定の更新時間間隔で送信するようにしてもよい。
さらに、上記変更例では、動画送信抑制領域RCの周囲に、第1静止画送信領域RDおよび第2静止画送信領域REが設定された。しかしながら、何れか一つの静止画送信領域のみが設定されてもよい。さらに、静止画送信領域が設定されなくてもよい。静止画送信領域が設定されない場合、映像表示領域RAに位置していたユーザの視線位置が動画送信抑制領域RCの外側の領域に移動すると、画像送信停止信号が送信され、動画が停止されるとともに静止画が送信されない。さらには、動画送信抑制領域が複数設定されてもよい。
さらに、上記実施の形態では、視線の揺れに起因して送信停止信号と抑制解除信号の出力が繰り返されてしまうとの問題を解消するため、視線位置が動画標準送信領域RB内(外)に一定時間留まった場合に、視線位置が動画標準送信領域RB内(外)に移動された
と判定された。しかしながら、他の構成として、図18に示す構成を採用することもできる。即ち、テレビ電話画面101上には、第1動画標準送信領域RXが設定され、第1動画標準送信領域RXの周囲に第2動画標準送信領域RYが設定される。通話制御部32は、ユーザの視線位置が第2動画標準送信領域RYの外側に外れた場合に送信停止信号を出力する。また、通話制御部32は、第2動画標準送信領域RYの外側に外れた視線位置が、第2動画標準送信領域RY内に戻っても抑制解除信号を出力せず、さらに、第1動画標準送信領域RX内に進入した場合に抑制解除信号を出力する。このような構成としても上記問題を解消することができる。
本発明は、テレビ電話機能を備える携帯電話機に限られず、テレビ電話機能を備えるPDA(PersonalDigital Assistant)、タブレットPC(Tablet PC)等の各種のテレビ電話機能付き機器に適用可能である。
この他、本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
3 表示面
4 マイクロフォン
7 外部スピーカ
8 カメラ
11 制御部
13 表示部
15 音声入力部
16 音声出力部
19 通信部
20 第1撮影部(撮影部)
23 近接検出部
31 視線検出部
32 通話制御部
33 顔検出部(画像検出部)
RA 映像表示領域(表示領域)
RB 動画標準送信領域(第1判定領域)
RC 動画送信抑制領域(第2判定領域)
RD 第1静止画送信領域(第3判定領域)
RE 第2静止画送信領域(第3判定領域)

Claims (7)

  1. データの送受信を行う通信部と、
    被写体を撮影する撮影部と、
    音声の入力を受け付ける音声入力部と、
    音声を出力する音声出力部と、
    表示面を有する表示部と、
    前記撮影部により撮影された動画および前記音声入力部に入力された音声を、前記通信部を介して通信先の機器へ送信し、前記通信部に前記通信先の機器からの動画および音声が受信されると、受信された動画を前記表示面に設定された表示領域に表示するとともに、受信された音声を前記音声出力部から出力する通話制御部と、
    前記表示面上におけるユーザの視線位置を検出する視線検出部と、を備え、
    前記通話制御部は、
    前記表示面に前記表示領域を含む第1判定領域を設定し、
    前記第1判定領域内に位置していた前記視線位置が前記第1判定領域外へ移動したことに基づいて、前記通信先の機器に動画の送信を抑制させるための送信抑制信号を出力し、
    前記第1判定領域外に位置していた前記視線位置が前記第1判定領域内へ移動したことに基づいて、前記通信先の機器に動画の送信の抑制を解除させるための抑制解除信号を出力し、
    前記送信抑制信号は、前記通信先の機器に動画の送信を停止させるための送信停止信号を含み、
    前記送信停止信号は、前記通信先の機器に動画の送信を停止させるとともに動画に替えて前記通信先の機器の撮影部により撮影された静止画を所定の更新時間間隔で送信させるための第1停止信号、および前記通信先の機器に動画の送信を停止させるとともに前記通信先の機器の撮影部により撮影された静止画を送信させない第2停止信号を含む、
    ことを特徴とするテレビ電話機能付き機器。
  2. 請求項1に記載のテレビ電話機能付き機器において、
    前記第1判定領域は前記表示領域よりも広い、
    ことを特徴とするテレビ電話機能付き機器。
  3. 請求項1または2に記載のテレビ電話機能付き機器において、
    前記送信抑制信号は、前記通信先の機器に動画の転送レートを低下させるためのレート低下信号を含み、
    前記通話制御部は、
    前記第1判定領域の周囲に第2判定領域を設定し、
    前記第2判定領域外に位置していた前記視線位置が前記第2判定領域内に移動したことに基づいて、前記レート低下信号を出力し、
    前記第2判定領域の外側の領域より内側に位置していた前記視線位置が前記外側の領域内に移動したことに基づいて、前記送信停止信号を出力する、
    ことを特徴とするテレビ電話機能付き機器。
  4. 請求項1または2に記載のテレビ電話機能付き機器において、
    前記送信抑制信号は、前記通信先の機器に動画の転送レートを低下させるためのレート低下信号を含み、
    前記通話制御部は、
    前記第1判定領域の周囲に第2判定領域を設定するとともに当該第2判定領域の周囲に第3判定領域を設定し、
    前記第2判定領域外に位置していた前記視線位置が前記第2判定領域内に移動したことに基づいて、前記レート低下信号を出力し、
    前記第3判定領域外に位置していた前記視線位置が前記第3判定領域内に移動したことに基づいて、前記第1停止信号を出力し、
    前記第3判定領域の外側の領域より内側に位置していた前記視線位置が前記外側の領域内に移動したことに基づいて、前記第2停止信号を出力する、
    ことを特徴とするテレビ電話機能付き機器。
  5. データの送受信を行う通信部と、
    被写体を撮影する撮影部と、
    音声の入力を受け付ける音声入力部と、
    音声を出力する音声出力部と、
    表示面を有する表示部と、
    前記撮影部により撮影された動画および前記音声入力部に入力された音声を、前記通信部を介して通信先の機器へ送信し、前記通信先の機器から前記通信部に動画および音声が受信されると、受信された動画を前記表示面に表示するとともに、受信された音声を前記音声出力部から出力する通話制御部と、を備え、
    前記通話制御部は、
    前記通信先の機器の視線検出部で検出される視線位置が、前記通信先の機器の表示面に設定された、その表示面における表示領域を含む第1判定領域内から前記第1判定領域外へ移動したことに基づいて、前記通信先の機器から送信抑制信号が出力されると、前記通信先の機器への動画の送信を抑制し、
    前記第1判定領域外に位置していた前記視線位置が前記第1判定領域内へ移動したことに基づいて、前記通信先の機器から抑制解除信号が出力されると、前記通信先の機器への動画の送信の抑制を解除し、
    前記送信抑制信号は、前記通信先の機器への動画の送信を停止させるための送信停止信号を含み、
    前記送信停止信号は、前記通信先の機器への動画の送信を停止させるとともに動画に替えて前記撮影部により撮影された静止画を所定の更新時間間隔で送信させるための第1停止信号、および前記通信先の機器への動画の送信を停止させるとともに前記撮影部により撮影された静止画を送信させない第2停止信号を含む、
    ことを特徴とするテレビ電話機能付き機器。
  6. データの送受信を行う通信部と、被写体を撮影する撮影部と、音声の入力を受け付ける音声入力部と、音声を出力する音声出力部と、表示面を有する表示部と、前記表示面上におけるユーザの視線位置を検出する視線検出部と、を備え、前記撮影部により撮影された動画および前記音声入力部に入力された音声を、前記通信部を介して通信先の機器へ送信し、前記通信部に前記通信先の機器からの動画および音声が受信されると、受信された動画を前記表示面に設定された表示領域に表示するとともに、受信された音声を前記音声出力部から出力するテレビ電話機能付き機器のコンピュータに、
    前記表示面に前記表示領域を含む第1判定領域を設定する機能と、
    前記第1判定領域内に位置していた前記視線位置が前記第1判定領域外へ移動したことに基づいて、前記通信先の機器に動画の送信を抑制させるための送信抑制信号を出力する機能と、
    前記第1判定領域外に位置していた前記視線位置が前記第1判定領域内へ移動したことに基づいて、前記通信先の機器に動画の送信の抑制を解除させるための抑制解除信号を出力する機能と、を実行させ、
    前記送信抑制信号は、前記通信先の機器に動画の送信を停止させるための送信停止信号を含み、
    前記送信停止信号は、前記通信先の機器に動画の送信を停止させるとともに動画に替えて前記通信先の機器の撮影部により撮影された静止画を所定の更新時間間隔で送信させるための第1停止信号、および前記通信先の機器に動画の送信を停止させるとともに前記通信先の機器の撮影部により撮影された静止画を送信させない第2停止信号を含む、
    ことを特徴とするプログラム。
  7. データの送受信を行う通信部と、被写体を撮影する撮影部と、音声の入力を受け付ける音声入力部と、音声を出力する音声出力部と、表示面を有する表示部と、前記表示面上におけるユーザの視線位置を検出する視線検出部と、を備え、前記撮影部により撮影された動画および前記音声入力部に入力された音声を、前記通信部を介して通信先の機器へ送信し、前記通信部に前記通信先の機器からの動画および音声が受信されると、受信された動画を前記表示面に設定された表示領域に表示するとともに、受信された音声を前記音声出力部から出力するテレビ電話機能付き機器の制御方法であって、
    前記表示面に前記表示領域を含む第1判定領域を設定するステップと、
    前記第1判定領域内に位置していた前記視線位置が前記第1判定領域外へ移動したことに基づいて、前記通信先の機器に動画の送信を抑制させるための送信抑制信号を出力するステップと、
    前記第1判定領域外に位置していた前記視線位置が前記第1判定領域内へ移動したことに基づいて、前記通信先の機器に動画の送信の抑制を解除させるための抑制解除信号を出力するステップと、を含み、
    前記送信抑制信号は、前記通信先の機器に動画の送信を停止させるための送信停止信号を含み、
    前記送信停止信号は、前記通信先の機器に動画の送信を停止させるとともに動画に替えて前記通信先の機器の撮影部により撮影された静止画を所定の更新時間間隔で送信させるための第1停止信号、および前記通信先の機器に動画の送信を停止させるとともに前記通信先の機器の撮影部により撮影された静止画を送信させない第2停止信号を含む、
    ことを特徴とする制御方法。
JP2012237571A 2012-10-29 2012-10-29 テレビ電話機能付き機器、プログラムおよびテレビ電話機能付き機器の制御方法 Expired - Fee Related JP6138453B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012237571A JP6138453B2 (ja) 2012-10-29 2012-10-29 テレビ電話機能付き機器、プログラムおよびテレビ電話機能付き機器の制御方法
PCT/JP2013/079144 WO2014069407A1 (ja) 2012-10-29 2013-10-28 テレビ電話機能付き機器、プログラムおよびテレビ電話機能付き機器の制御方法
US14/699,651 US9426187B2 (en) 2012-10-29 2015-04-29 Device with TV phone function, non-transitory computer readable storage medium, and control method of device with TV phone function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012237571A JP6138453B2 (ja) 2012-10-29 2012-10-29 テレビ電話機能付き機器、プログラムおよびテレビ電話機能付き機器の制御方法

Publications (2)

Publication Number Publication Date
JP2014090230A JP2014090230A (ja) 2014-05-15
JP6138453B2 true JP6138453B2 (ja) 2017-05-31

Family

ID=50627312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012237571A Expired - Fee Related JP6138453B2 (ja) 2012-10-29 2012-10-29 テレビ電話機能付き機器、プログラムおよびテレビ電話機能付き機器の制御方法

Country Status (3)

Country Link
US (1) US9426187B2 (ja)
JP (1) JP6138453B2 (ja)
WO (1) WO2014069407A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6433209B2 (ja) * 2014-09-18 2018-12-05 大和ハウス工業株式会社 対話用通信システム及び対話用通信方法
JP2017175439A (ja) * 2016-03-24 2017-09-28 京セラ株式会社 電子機器
US10121337B2 (en) * 2016-12-30 2018-11-06 Axis Ab Gaze controlled bit rate
JP6583296B2 (ja) * 2017-01-19 2019-10-02 京セラドキュメントソリューションズ株式会社 表示制御装置、及び表示制御方法
US9832372B1 (en) * 2017-03-18 2017-11-28 Jerry L. Conway, Sr. Dynamic vediotelphony systems and methods of using the same
US9942514B1 (en) * 2017-04-29 2018-04-10 Qualcomm Incorporated Video call power optimization
CN111831240B (zh) * 2019-04-17 2022-02-22 北京小米移动软件有限公司 终端屏幕的显示控制方法、装置及存储介质
JP7284401B2 (ja) * 2019-09-12 2023-05-31 富士通株式会社 視線情報処理プログラム、情報処理装置および視線情報処理方法
JP7358018B2 (ja) * 2019-12-19 2023-10-10 アルパイン株式会社 近接検知装置
CN112995551A (zh) * 2021-02-05 2021-06-18 海信视像科技股份有限公司 一种声音控制方法及显示设备
WO2022201266A1 (ja) * 2021-03-22 2022-09-29 株式会社I’mbesideyou 動画像分析プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09224228A (ja) * 1996-02-16 1997-08-26 Konica Corp 画像通信装置
JP2000059772A (ja) * 1998-08-05 2000-02-25 Toshiba Corp 映像表示方式
WO2001050754A1 (de) 1999-12-30 2001-07-12 Swisscom Mobile Ag Verfahren für die übermittlung von bilddaten
JP4475579B2 (ja) * 2004-11-11 2010-06-09 日本電信電話株式会社 映像コミュニケーション装置および映像コミュニケーション装置の制御方法
WO2008105252A1 (ja) * 2007-02-28 2008-09-04 Konica Minolta Holdings, Inc. 常時接続型コミュニケーション装置及びその制御方法
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
JP5509986B2 (ja) * 2010-03-26 2014-06-04 沖電気工業株式会社 画像処理装置、画像処理システム、及び画像処理プログラム

Also Published As

Publication number Publication date
WO2014069407A1 (ja) 2014-05-08
US20150237079A1 (en) 2015-08-20
JP2014090230A (ja) 2014-05-15
US9426187B2 (en) 2016-08-23

Similar Documents

Publication Publication Date Title
JP6138453B2 (ja) テレビ電話機能付き機器、プログラムおよびテレビ電話機能付き機器の制御方法
US11057607B2 (en) Mobile terminal and method for controlling the same
CN108513070B (zh) 一种图像处理方法、移动终端及计算机可读存储介质
EP2947859B1 (en) Mobile terminal and method for controlling the same
KR20160048532A (ko) 이동단말기 및 그 제어방법
KR20170006559A (ko) 이동단말기 및 그 제어방법
KR20150142359A (ko) 이동단말기 및 그 제어방법
EP3691234B1 (en) Photographing method and terminal
KR20170055869A (ko) 이동단말기 및 그 제어방법
KR20160133414A (ko) 정보 처리 장치, 제어 방법 및 프로그램
KR20160143029A (ko) 이동 단말기
KR20170130952A (ko) 이동 단말기 및 그 제어방법
WO2021238564A1 (zh) 显示设备及其畸变参数确定方法、装置、***及存储介质
WO2021104248A1 (zh) 视频通话方法、可穿戴设备及存储介质
JP7473029B2 (ja) 携帯情報端末、携帯情報端末制御方法、プログラム
JP2023516053A (ja) 露光データ取得方法、電子機器およびコンピュータ可読記憶媒体
JP2022554129A (ja) 撮影方法及び電子機器
KR20170037123A (ko) 이동단말기 및 그 제어방법
US9811160B2 (en) Mobile terminal and method for controlling the same
KR20160092820A (ko) 이동 단말기 및 그 제어방법
KR20160029348A (ko) 글래스형 이동 단말기
KR20160084208A (ko) 이동 단말기 및 그 제어 방법
KR20150140050A (ko) 이동단말기 및 그 제어방법
KR101591329B1 (ko) 이동단말기 및 이동 단말기의 제어방법
EP3654667B1 (en) Electronic device and a method of outputting audio signal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170426

R150 Certificate of patent or registration of utility model

Ref document number: 6138453

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees