JP7142715B2 - 周囲光検出方法および端末 - Google Patents

周囲光検出方法および端末 Download PDF

Info

Publication number
JP7142715B2
JP7142715B2 JP2020554133A JP2020554133A JP7142715B2 JP 7142715 B2 JP7142715 B2 JP 7142715B2 JP 2020554133 A JP2020554133 A JP 2020554133A JP 2020554133 A JP2020554133 A JP 2020554133A JP 7142715 B2 JP7142715 B2 JP 7142715B2
Authority
JP
Japan
Prior art keywords
luminance value
region
luminance
terminal
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020554133A
Other languages
English (en)
Other versions
JP2021518722A (ja
Inventor
▲挙▼友 王
辰▲龍▼ 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2021518722A publication Critical patent/JP2021518722A/ja
Application granted granted Critical
Publication of JP7142715B2 publication Critical patent/JP7142715B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0264Details of the structure or mounting of specific components for a camera module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0266Details of the structure or mounting of specific components for a display module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/22Illumination; Arrangements for improving the visibility of characters on dials
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38Displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Telephone Function (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Description

本願は、2018年4月4日に中国特許庁に出願された「SCREEN LUMINANCE ADJUSTMENT METHOD AND TERMINAL」という名称の中国特許出願第201810302048.6号の優先権を主張し、この特許は、参照することによりその全体が本明細書に組み入れられる。
本出願は電子技術の分野に関し、特に周囲光検出方法および端末に関する。
ユーザが携帯電話を使用するときは、当然、周囲に自然光や照明光などの光源がある。光源は携帯電話の周囲光を形成し、周囲光は携帯電話の画面の表示効果に影響を及ぼす。
通常は、携帯電話のディスプレイの下方に周囲光センサが取り付けられており、周囲光センサは周囲光の検出を行い、携帯電話は検出結果に基づいてディスプレイの輝度を調節してユーザの視覚体験を向上させる。この検出方法では、周囲光センサがディスプレイを介して周囲光を受ける必要があるため、ディスプレイの一部で周囲光センサを覆っている部分は画像の表示に使用することができない。したがって、周囲光センサは通常は携帯電話の上部に取り付けられ、ディスプレイの一部で周囲光センサを覆っている部分は画像の表示には使用されない。その結果、携帯電話の画面対本体比(画面面積と携帯電話全体の面積との比)に影響を及ぼし、また、ユーザの使い心地に影響を及ぼす。
本出願の実施形態は、携帯電話の上部スペースを空けて携帯電話の画面対本体比を大きくするのに役立ち、かつユーザの使い心地をよくするのに役立つ周囲光検出方法および端末を提供する。
第1の態様によれば、本願で提供される方法は、カメラとディスプレイとを備える端末に適用される。カメラは少なくとも2つの領域を含み、各領域は少なくとも1つの第1の画素を含む。本方法は、
端末によって、各第1の画素の第1の輝度値を取得するステップであって、各第1の画素は1つの第1の輝度値に対応する、ステップと、端末によって、各領域に含まれるすべての第1の画素の第1の輝度値に基づいて、各領域の第2の輝度値を取得するステップであって、各領域は1つの第2の輝度値に対応する、ステップと、端末によって、すべての第2の輝度値に基づいて現在の周囲光の輝度値を取得するステップと、端末によって、周囲光の輝度値に基づいてディスプレイの輝度を調節するステップとを特に含む。
第1の画素は、周囲光検出を行うために端末によって事前設定された画素である。端末でディスプレイの表示輝度を自動的に調節する機能が有効になると、端末は第1の画素を活性化し、その結果、第1の画素が作動状態になる。これらの第1の画素は、現在の光の輝度値を検出するのに使用され、それぞれの画素の検出された第1の輝度値がレジスタに記憶される(例えば、それぞれの事前設定された第1の画素が1つのレジスタに対応し得る。)。
レンズに到達する光の分布が異なっていることが、カメラの光学特性から分かることは理解されよう。つまり、カメラの領域が異なれば光の減衰が異なる。したがって、カメラによって収集された光の輝度を検出するために領域分割が行われ、検出した各領域の輝度値に対して、程度の異なる補正が行われる。これは検出した輝度値の精度を高めるのに役立つ。
ここでの領域分割は、画素を異なる領域に物理的に分離することではなく、複数のセンサに含まれる複数の画素のグルーピングであることに留意されたい。グルーピングの法則は、いくつかの隣接する画素が1つのグループに分類され、グループ内の画素は1つの領域内にあるものとされる。また、ここでの領域分割は事前設定される。
したがって携帯電話に周囲光センサを取り付ける必要がなく、携帯電話の上部スペースで部品1つ分の場所が空く。これは、携帯電話の画面対本体比を大きくしてユーザの使い心地をよくするのに役立つ。
可能な設計において、カメラは少なくとも1つの第2の画素をさらに含み、本方法は、
端末によって、カメラを使用可能にするのに使用される操作を受信する、ステップと、操作に応答して、端末によって少なくとも1つの第2の画素を活性化する、ステップとをさらに含む。
端末は、第1の画素と第2の画素とを含むことに留意されたい。第2の画素は、周囲光検出用として指定されていない画素である。端末は撮影機能を実施するために、カメラ内の第1の画素および第2の画素を含む全画素を使用する。したがって、端末で撮影機能が使用可能になると、端末はすべての第1の画素と、すべての第2の画素とを活性化状態になって作動するように制御する。
本願における実施形態では、カメラの撮影機能とカメラの周囲光検出機能とは2つの独立した機能であり、互いに影響を与えないことに留意されたい。端末で周囲光を自動的に調節する機能が有効になった後に、端末の電源がオンにされ、かつ画面がオンになっているときは、周囲光検出はカメラを使用して常に行われてもよく、カメラが撮影を行うかどうかに影響されない。周囲光検出プロセスでは、カメラは撮影を行うことができる。また、カメラの撮影プロセスで、カメラが周囲光強度を検出することもできる。カメラの撮影機能および周囲光検出機能に対応するレジスタは個別に配置されてもよく、2つの機能に対応するIIC(Inter-Integrated Circuit,IIC)バスも個別に配置されてもよく、その結果、2つの機能を個別に実施することができる。
可能な設計において、ディスプレイの表示輝度を自動的に調節する機能が有効であってカメラが使用可能でない場合は、各第1の画素が活性化状態になり、各第2の画素が非活性化状態になる、あるいはカメラが使用可能な場合は、各第1の画素と各第2の画素とが活性化状態になる。
端末でディスプレイの表示輝度を自動調節する機能が有効であって撮影機能が使用可能でないときは、第1の画素は活性化状態になっていて、第2の画素は非活性化状態になっていることに留意されたい。端末でディスプレイの表示輝度を自動的に調節する機能が有効になった場合に、端末でカメラ機能が使用可能なときは、端末はすべての第2の画素を活性化する(第1の画素は、ディスプレイの表示輝度を自動的に調節する機能が有効になったときに活性化されている)。
可能な設計において、端末によって、すべての第2の輝度値に基づいて現在の周囲光の輝度値を取得するステップは、端末によって、すべての第2の輝度値のうちの最大値を現在の周囲光の輝度値として使用することを含む。
可能な設計において、第1の領域におけるすべての第1の画素は、K1個の赤色光画素と、K2個の緑色光画素と、K3個の青色光画素とを含み、第1の領域は、少なくとも2つの領域のうちのいずれか1つである。端末が、各領域に含まれるすべての第1の画素の第1の輝度値に基づいて、各領域の第2の輝度値を取得するプロセスにおいて、端末は各領域に対し、端末によって、第1の領域に含まれるK1個の赤色光画素のK1個の第1の輝度値に基づいて、赤色光の第3の輝度値を取得する操作であって、K1個の赤色光画素は、赤色光の1つの第3の輝度値に対応する、操作と、端末によって、第1の領域に含まれるK2個の緑色光画素の第1の輝度値に基づいて、緑色光の第3の輝度値を取得する操作であって、K2個の緑色光画素は、緑色光の1つの第3の輝度値に対応する、操作と、端末によって、第1の領域に含まれるK3個の青色光画素の第1の輝度値に基づいて、青色光の第3の輝度値を取得する操作であって、K3個の青色光画素は、青色光の1つの第3の輝度値に対応する、操作と、端末によって、赤色光の第3の輝度値と、緑色光の第3の輝度値と、青色光の第3の輝度値とに基づいて、第1の領域の第2の輝度値を決定する、操作とを実行する。
ここでK1、K2、およびK3は同じであってもよく、異なっていてもよい。
可能な設計において、端末によって、第1の領域に含まれるK1個の赤色光画素のK1個の第1の輝度値に基づいて、赤色光の第3の輝度値を取得するステップは、端末によって、K1個の第1の輝度値の平均値、またはK1個の第1の輝度値の最大値が、赤色光の第3の輝度値であると決定することを含み、端末によって、第1の領域に含まれるK2個の緑色光画素のK2個の第1の輝度値に基づいて、緑色光の第3の輝度値を取得するステップは、端末によって、K2個の第1の輝度値の平均値、またはK2個の第1の輝度値のうちの最大値が、緑色光の第3の輝度値であると決定することを含み、端末によって、K3個の第1の領域に含まれる青色光画素のK3個の第1の輝度値に基づいて、青色光の第3の輝度値を取得するステップは、端末によって、K3個の第1の輝度値の平均値、またはK3個の第1の輝度値の最大値が、青色光の第3の輝度値であると決定することを含む。
可能な設計において、端末によって、赤色光の第3の輝度値と、緑色光の第3の輝度値と、青色光の第3の輝度値とに基づいて、第1の領域の第2の輝度値を決定するステップは、端末によって、赤色光の第3の輝度値、緑色光の第3の輝度値、および青色光の第3の輝度値の加重平均値を取得することと、端末によって、加重平均値を第1の領域の第2の輝度値として使用することとを含む。
例えば、色温度が異なれば、輝度値が同じでもユーザに与える視覚体験は異なる。したがって、色温度に基づいて、R光、G光、およびB光の輝度値に対する加重が異なる場合があり、次に、領域の輝度値を取得するために、加重に基づいてR光、G光、およびB光の輝度値が加算される。最終的に、現在の周囲光の輝度値が得られる。
例えば、異なる光源にはR光、G光、およびB光の異なる成分が含まれるので、異なる光源の特徴に基づいて、R光、G光、およびB光の輝度値に異なる重みが加算されてもよい。次に、領域の輝度値を取得するために、加重に基づいてR光、G光、およびB光の輝度値が加算される。最終的に、現在の周囲光の輝度値が得られる。
可能な設計において、端末によって、赤色光の第3の輝度値と、緑色光の第3の輝度値と、青色光の第3の輝度値とに基づいて、第1の領域の第2の輝度値を決定するステップは、端末によって、赤色光の第3の輝度値、緑色光の第3の輝度値、および青色光の第3の輝度値の加重平均値を取得することと、端末によって、第1の領域の第2の輝度値を取得するために、第1の領域の位置に基づいて加重平均値を補正することとを含む。
可能な設計において、端末が各領域に含まれるすべての第1の画素の第1の輝度値に基づいて、各領域の第2の輝度値を取得するプロセスにおいて、端末は各領域に対し、
端末によって、第1の平均値を、第1の領域の第2の輝度値として使用する操作を実行し、第1の平均値は第1の領域内のすべての第1の画素の、第1の輝度値の平均値であり、第1の領域は、少なくとも2つの領域のうちのいずれか1つである。
可能な設計において、端末が各領域に含まれるすべての第1の画素の第1の輝度値に基づいて、各領域の第2の輝度値を取得するプロセスにおいて、端末は各領域に対し、端末によって、第1の領域の第2の輝度値を取得するために第1の領域の位置に基づいて第1の平均値を補正する操作を実行し、第1の平均値は第1の領域内のすべての第1の画素の、第1の輝度値の平均値であり、第1の領域は、少なくとも2つの領域のうちのいずれか1つである。
可能な設計において、第1の領域がカメラの中心位置に近い場合は、加重平均値または第1の平均値に対する補正が小さくなる、あるいは第1の領域がカメラの中心位置から遠い場合は、加重平均値または第1の平均値に対する補正が大きくなる。
第2の態様によれば、カメラと、プロセッサと、ディスプレイとを備える端末が提供され、カメラは少なくとも2つの領域を有し、各領域は少なくとも1つの第1の画素を含み、カメラは、各第1の画素の第1の輝度値を取得するように構成され、各第1の画素は1つの第1の輝度値に対応し、プロセッサは、各領域に含まれるすべての第1の画素の第1の輝度値に基づいて、各領域の第2の輝度値を取得するように構成され、各領域は1つの第2の輝度値に対応し、プロセッサは、すべての第2の輝度値に基づいて現在の周囲光の輝度値を取得するようにさらに構成され、プロセッサは、周囲光の輝度値に基づいて、ディスプレイの輝度を調節するようにさらに構成される。
可能な設計において、カメラは少なくとも1つの第2の画素をさらに含み、プロセッサは、カメラを使用可能にするのに使用される操作を受信するようにさらに構成され、カメラは、操作に応答して少なくとも1つの第2の画素を活性化するようにさらに構成される。
可能な設計において、カメラは、端末が各第1の画素の第1の輝度値を取得する前に、端末内の各第1の画素を活性化状態になるよう制御するようにさらに構成される。
可能な設計において、端末が各第1の画素の第1の輝度値を取得する前に、プロセッサは、ディスプレイの表示輝度を自動的に調節する機能を有効にするようにさらに構成され、カメラは、有効にするステップに応答して端末内の各第1の画素を活性化状態になるよう制御するようにさらに構成される。
可能な設計において、ディスプレイの表示輝度を自動的に調節する機能が有効であってカメラが使用可能でない場合は、各第1の画素が活性化状態になり、各第2の画素が非活性化状態になる、あるいはカメラが使用可能な場合は、各第1の画素と各第2の画素とが活性化状態になる。
可能な設計において、すべての第2の輝度値に基づいて現在の周囲光の輝度値を取得するときは、プロセッサは、すべての第2の輝度値のうちの最大値を現在の周囲光の輝度値として使用するように特に構成される。
可能な設計において、第1の領域内のすべての第1の画素は、K1個の赤色光画素と、K2個の緑色光画素と、K3個の青色光画素とを含み、第1の領域が少なくとも2つの領域のうちのいずれか1つであり、プロセッサが各領域に含まれるすべての第1の画素の第1の輝度値に基づいて、各領域の第2の輝度値を取得するプロセスにおいて、プロセッサは各領域に対し、
第1の領域に含まれるK1個の赤色光画素のK1個の第1の輝度値に基づいて、赤色光の第3の輝度値を取得する操作であって、K1個の赤色光画素は、赤色光の1つの第3の輝度値に対応する、操作と、第1の領域に含まれるK2個の緑色光画素の第1の輝度値に基づいて、緑色光の第3の輝度値を取得する操作であって、K2個の緑色光画素は、緑色光の1つの第3の輝度値に対応する、操作と、第1の領域に含まれるK3個の青色光画素の第1の輝度値に基づいて、青色光の第3の輝度値を取得する操作であって、K3個の青色光画素は、青色光の1つの第3の輝度値に対応する、操作と、赤色光の第3の輝度値と、緑色光の第3の輝度値と、青色光の第3の輝度値とに基づいて、第1の領域の第2の輝度値を決定する、操作とを実行する。
可能な設計において、第1の領域に含まれるK1個の赤色光画素のK1個の第1の輝度値に基づいて、赤色光の第3の輝度値を取得するときは、プロセッサが、端光末によって、K1個の第1の輝度値の平均値、またはK1個の第1の輝度値の最大値が、赤色光の第3の輝度値であると決定するように特に構成され、第1の領域に含まれるK2個の緑色光画素の第1の輝度値に基づいて、緑色光の第3の輝度値を取得するときは、プロセッサが、K2個の第1の輝度値の平均値、またはK2個の第1の輝度値のうちの最大値が緑色光の第3の輝度値であると決定するように特に構成され、第1の領域に含まれるK3個の青色光画素の第1の輝度値に基づいて、青色光の第3の輝度値を取得するときは、プロセッサが、K3個の第1の輝度値の平均値、またはK3個の第1の輝度値の最大値が、青色光の第3の輝度値であると決定するように特に構成される。
可能な設計において、赤色光の第3の輝度値と、緑色光の第3の輝度値と、青色光の第3の輝度値とに基づいて、第1の領域の第2の輝度値を決定するときは、プロセッサが、赤色光の第3の輝度値、緑色光の第3の輝度値、および青色光の第3の輝度値の加重平均値を取得するように特に構成され、かつプロセッサは、加重平均値を第1の領域の第2の輝度値として使用するようにさらに構成される。
可能な設計において、赤色光の第3の輝度値と、緑色光の第3の輝度値と、青色光の第3の輝度値とに基づいて、第1の領域の第2の輝度値を決定するときは、プロセッサが、赤色光の第3の輝度値、緑色光の第3の輝度値、および青色光の第3の輝度値の加重平均値を取得し、第1の領域の第2の輝度値を取得するために、第1の領域の位置に基づいて加重平均値を補正するように特に構成される。
可能な設計において、プロセッサが各領域に含まれるすべての第1の画素の第1の輝度値に基づいて、各領域の第2の輝度値を取得するプロセスにおいて、プロセッサは各領域に対し、
第1の平均値を、第1の領域の第2の輝度値として使用する操作を実行し、第1の平均値は第1の領域内のすべての第1の画素の、第1の輝度値の平均値であり、第1の領域は、少なくとも2つの領域のうちのいずれか1つである。
可能な設計において、プロセッサが各領域に含まれるすべての第1の画素の第1の輝度値に基づいて、各領域の第2の輝度値を取得するプロセスにおいて、プロセッサは各領域に対し、
第1の領域の第2の輝度値を取得するために第1の領域の位置に基づいて第1の平均値を補正する操作を実行し、第1の平均値は第1の領域内のすべての第1の画素の、第1の輝度値の平均値であり、第1の領域は、少なくとも2つの領域のうちのいずれか1つである。
可能な設計において、第1の領域がカメラの中心位置に近い場合は、加重平均値または第1の平均値に対する補正が小さくなる、あるいは第1の領域がカメラの中心位置から遠い場合は、加重平均値または第1の平均値に対する補正が大きくなる。
可能な設計において、プロセッサは、センサハブsensor hub、およびアプリケーションプロセッサのうちのいずれか1つである。
第3の態様によれば、プロセッサと、メモリと、タッチ画面とを備える端末が提供され、メモリとタッチ画面とはプロセッサに結合され、メモリはコンピュータプログラムコードを記憶するように構成され、コンピュータプログラムコードはコンピュータ命令を含み、プロセッサがメモリからコンピュータ命令を読み取ると、第1の態様における任意の可能な設計方法による方法が実行される。
第4の態様によれば、コンピュータ命令を含むコンピュータ記憶媒体が提供され、端末でコンピュータ命令が実行されると、端末は第1の態様における任意の可能な設計方法による方法を実行できるようになる。
第5の態様によれば、コンピュータプログラム製品が提供される。コンピュータプログラム製品がコンピュータで実行されると、コンピュータは、第1の態様における任意の可能な設計方法による方法を実行できるようになる。
本願における実施形態による、端末の概略的な構造図1である。 本願における実施形態による、端末のカメラの概略的な構造図である。 本願における実施形態による、端末のカメラセンサの領域分割の概略図1である。 本願における実施形態による、端末のカメラセンサの領域分割の概略図2である。 本願における実施形態による、端末のカメラセンサの領域分割の概略図3である。 本願における実施形態による、端末の概略的な構造図2である。 本願における実施形態による、カメラの異なる領域の補正方法の概略図である。 本願における実施形態による、周囲光検出方法の概略的なフローチャートである。 本願における実施形態による、端末の概略的な構造図3である。 本願における実施形態による、端末の概略的な構造図4である。
周囲光検出を行うために周囲光センサが使用され、周囲光センサが携帯電話の上部スペースを占め、さらに携帯電話の画面対本体比に影響することを考慮して、本願における実施形態は、カメラを使用して周囲光検出を行う方法を提供する。この方法では、携帯電話に周囲光センサを取り付ける必要がなく、携帯電話の上部スペースで部品1つ分の場所が空く。これは、携帯電話の画面対本体比を大きくしてユーザの使い心地をよくするのに役立つ。
本願における実施形態で提供する方法は、ディスプレイとカメラとを備える端末に適用され得る。端末はカメラを使用して周囲光検出を実行し、周囲光検出の結果に基づいてディスプレイの輝度を調節し得る。
カメラと同じ側に配置されたディスプレイの輝度は、カメラによって行われた周囲光検出の結果に基づいて調節され得ることに留意されたい。例えば、前面カメラの検出結果は、携帯電話の前面にあるディスプレイの輝度の調節に使用される。一部のシナリオでは、例えば、携帯電話の前面の周囲光輝度と、携帯電話の背面の周囲光輝度との相違が比較的小さいときは、携帯電話の前面にあるディスプレイの輝度を調節するために、携帯電話の背面カメラの検出結果が代わりに使用されてもよい。あるいは、携帯電話の背面にディスプレイがある場合は、携帯電話の背面にあるディスプレイの輝度は、背面カメラの検出結果に基づいて調節されてもよい。これは、本願における実施形態において限定されない。
例えば、本願の端末は、アプリケーションをインストールしてアプリケーションのアイコンを表示できる携帯電話(例えば、図1に示す携帯電話100)、タブレットコンピュータ、パソコン(Personal Computer,PC)、携帯情報端末(personal digital assistant,PDA)、スマートウォッチ、ネットブック、装着型電子機器、拡張現実(Augmented Reality,AR)装置、仮想現実(Virtual Reality,VR)装置などであってもよい。本願において、端末を特定の形態に特に限定することはない。
図1に示すように、携帯電話100が前述した端末の例として使用される。携帯電話100は、具体的にはプロセッサ101、高周波(Radio Frequency,RF)回路102、メモリ103、タッチ画面104、Bluetooth(登録商標)機器105、1つ以上のセンサ106、無線フィデリティ(Wireless Fidelity,WI-FI)機器107、測位装置108、音声回路109、周辺機器インターフェース110、および電源装置111などの部品を含み得る。これらの構成部品は、1つ以上の通信バスまたは信号ケーブル(図1には図示せず)を使用して互いに通信してもよい。図1に示すハードウェア構造は、携帯電話に対していかなる制限も課すことはなく、また携帯電話100は図示されているよりも多い、または少ない構成部品を含んでもよく、いくつかの構成部品を組み合わせてもよく、あるいは構成部品の配置が異なっていてもよいことが当業者には理解できるであろう。
以下、図1を参照しながら携帯電話100の構成部品について詳しく説明する。
プロセッサ101は、携帯電話100の制御センタである。プロセッサ101は、さまざまなインターフェースおよびケーブルを使用して携帯電話100の部品に接続され、携帯電話100のさまざまな機能を実行してデータを処理するために、メモリ103に記憶されたアプリケーションプログラムを実行して、メモリ103に記憶されたデータを呼び出す。いくつかの実施形態では、プロセッサ101は1つ以上の処理ユニットを含んでもよい。例えば、プロセッサ101は、ベースバンドプロセッサおよびアプリケーションプロセッサを含んでもよい。
高周波回路102は、情報送受信処理または発信処理において無線信号を送受信するように構成され得る。具体的には、基地局から下りデータを受信した後に、高周波回路102は下りデータを処理のためにプロセッサ101に送信し、関連する上りデータを基地局に送信してもよい。通常、高周波回路は、これに限定されないが、アンテナ、少なくとも1つの増幅器、送受信機、カプラ、低ノイズ増幅器、デュプレクサなどを含む。また、高周波回路102は、無線通信を通じて別の装置とさらに通信してもよい。無線通信は任意の通信規格または通信プロトコルを使用してもよく、これに限定されないが、GSM、汎用パケット無線サービス、符号分割多元アクセス、広域符号分割多元アクセス、ロングタームエボリューション、電子メール、ショートメッセージサービスなどを含む。
メモリ103は、アプリケーションプログラムおよびデータを記憶するように構成される。プロセッサ101は、携帯電話100のさまざまな機能を実行してデータを処理するために、メモリ103に記憶されたアプリケーションプログラムおよびデータを実行する。メモリ103は、主にプログラム記憶領域とデータ記憶領域とを含む。プログラム記憶領域は、オペレーティングシステム、および少なくとも1つの機能(例えば、音声再生機能、または画像再生機能)に必要とされるアプリケーションプログラムを記憶してもよい。データ記憶領域は、携帯電話100の使用に基づいて作成されたデータ(例えば、音声データまたは電話帳)を記憶してもよい。また、メモリ103は高速のランダムアクセスメモリ(Random Access Memory,RAM)を含んでもよく、あるいは磁気ディスク記憶装置などの不揮発性メモリ、フラッシュ記憶装置、その他の揮発性ソリッドステート記憶装置を含んでもよい。メモリ103は、Apple社によって開発されたiOS(登録商標)オペレーティングシステム、およびGoogle社によって開発されたAndroid(登録商標)オペレーティングシステムなどのさまざまなオペレーティングシステムを含んでもよい。メモリ103は独立していてもよく、通信バスを使用してプロセッサ101に接続される、あるいはメモリ103はプロセッサ101と一体化されてもよい。本願におけるこの実施形態では、メモリ103は、記憶部品207を含む。
タッチ画面104は、タッチパッド104-1とディスプレイ104-2とを特に備えてもよい。
タッチパッド104-1は、携帯電話100のユーザによって、タッチパッド104-1で、またはタッチパッド104-1付近で行われた接触イベント(例えば、ユーザによって、指やスタイラスなど任意の適切なものを使用して、タッチパッド104-1で、またはタッチパッド104-1付近で行われた操作)を採取して、採取した接触情報を別の部品(プロセッサ101など)に送信することができる。タッチパッド104-1付近でユーザによって行われた接触イベントは、フローティングタッチと呼ばれる場合がある。フローティングタッチとは、オブジェクト(例えば、アイコン)を選択したり、動かしたり、ドラッグしたりするためにユーザが直接タッチパッドに触れる必要がなく、所望の機能を実行するのに、ユーザが装置の付近にいるだけでよいことを意味する場合がある。また、タッチパッド104-1は、抵抗方式、容量方式、赤外線方式、および表面弾性波方式などの複数の方式で実施されてもよい。
ディスプレイ(表示装置とも呼ばれる)104-2は、ユーザが入力した情報またはユーザに提供された情報、ならびに携帯電話100のさまざまなメニューを表示するように構成されてもよい。ディスプレイ104-2は、液晶ディスプレイ、有機発光ダイオードなどの形態で構成されてもよい。タッチパッド104-1は、ディスプレイ104-2を覆ってもよい。タッチパッド104-1で、またはタッチパッド104-1付近で接触イベントを検出した後、タッチパッド104-1は接触イベントの種類を判定するために、接触イベントをプロセッサ101に転送する。次に、プロセッサ101は、接触イベントの種類に基づいて、対応する視覚的な出力をディスプレイ104-2に提供し得る。図1では、タッチパッド104-1とディスプレイ104-2とは、携帯電話100の入出力機能を実施するために2つの独立した部品として使用され、一部の実施形態では、タッチパッド104-1とディスプレイ104-2とは、携帯電話100の入出力機能を実施するために一体化されてもよい。タッチ画面104は、材料の複数の層を積み重ねて形成されることは理解されよう。本願におけるこの実施形態で詳細な説明はされない。また、タッチパッド104-1は全面パネル方式で携帯電話100の前面に配置されてもよく、ディスプレイ104-2もまた、全面パネル方式で携帯電話100の前面に配置されてもよい。このようにして、ベゼルレス携帯電話などの、携帯電話の前面に縁がない構造を実施することが可能になる。
また、携帯電話100は、指紋認証機能をさらに有してもよい。例えば、携帯電話100の背面(例えば、背面カメラの下方)に指紋センサ112が配置される、あるいは携帯電話100の前面(例えば、タッチ画面104の下方)に指紋センサ112が配置されてもよい。別の例では、指紋認証機能を実施するために、タッチ画面104に指紋採取装置112が配置されてもよい。言い換えれば、携帯電話100の指紋認証機能を実施するために、指紋採取装置112とタッチ画面104とが一体化されてもよい。この場合、指紋採取装置112はタッチ画面104に配置され、タッチ画面104の一部であってもよく、あるいは別の方法でタッチ画面104に配置されてもよい。本願におけるこの実施形態では、指紋採取装置112の主な構成部品は指紋センサである。指紋センサは、任意の種類のセンシング技術を使用してもよく、これに限定されないが、光学センシング技術、静電容量センシング技術、圧電センシング技術、超音波センシング技術などを含む。
携帯電話100は、携帯電話100と別の短距離装置(例えば、携帯電話またはスマートウォッチ)との間のデータ交換を実施するように構成された、Bluetooth(登録商標)機器105をさらに含んでもよい。本願におけるこの実施形態では、Bluetooth(登録商標)機器は、集積回路、Bluetooth(登録商標)チップなどであってもよい。
携帯電話100は、光センサ、動きセンサその他のセンサなどの少なくとも1種類のセンサ106をさらに含んでもよい。具体的には、光センサは近接センサを含んでもよい。携帯電話100を耳に近づけたときは、近接センサによってディスプレイの電源が切られてもよい。動きセンサの一種として、加速度センサは、さまざまな方向(通常は3軸)の加速度値を検出し得る。加速度センサは、加速度センサが静止しているときは重力の値および方向を検出し、携帯電話の向き(横置きモードと縦置きモードとの切り替え、向きが関係するゲーム、および磁力計姿勢補正など)、振動認識に関連する機能(例えば、歩数計およびノック)などを認識するためのアプリケーションに適用されてもよい。ジャイロスコープ、気圧計、湿度計、温度計、および赤外線センサなどの他のセンサがさらに携帯電話100に配置されてもよい。ここで詳細な説明はされない。
Wi-Fi機器107は、携帯電話100に、Wi-Fi関連の標準プロトコルを満たすネットワークアクセスを提供するように構成される。携帯電話100は、ユーザが電子メールを送受信したり、webページを閲覧したり、ストリーミングメディアにアクセスしたりできるようにするために、Wi-Fi機器107を使用してWi-Fiアクセスポイントにアクセスしてもよい。Wi-Fi機器107は、ユーザに無線ブロードバンドインターネットアクセスを提供する。いくつかの他の実施形態では、Wi-Fi機器107はWi-Fi無線アクセスポイントとして使用されてもよく、かつ別の装置にWi-Fiネットワークアクセスを提供してもよい。
測位装置108は、携帯電話100に地理的位置を提供するように構成される。測位装置108は、具体的には全地球測位システム(Global Positioning System,GPS)、北斗衛星測位システム、またはロシアのGLONASSなどの測位システムの受信機であってもよいことは理解されよう。測位システムによって送信された地理的位置を受信した後に、測位装置108は、処理のために情報をプロセッサ101に送信する、あるいは記憶するために情報をメモリ103に送信する。いくつかの他の実施形態では、測位装置108は、あるいは補助GPS(Assisted Global Positioning System,AGPS)の受信機であってもよい。AGPSシステムは、測距および測位サービスを実施するために、補助サーバとして測位装置108を補助する。この場合、補助的な測位サーバは測位を補助するために、無線通信ネットワークを介して携帯電話100の測位装置108(すなわちGPS受信機)などの装置と通信する。いくつかの他の実施形態では、測位装置108は、Wi-Fiアクセスポイントに基づく測位技術であってもよい。各Wi-Fiアクセスポイントは、グローバルに一意の媒体アクセス制御(Media Access Control,MAC)アドレスを有し、装置は、Wi-Fiが使用可能なときに、近接するWi-Fiアクセスポイントのブロードキャスト信号をスキャンして収集することができる。したがって、Wi-FiアクセスポイントによってブロードキャストされたMACアドレスを取得することができる。装置は無線通信ネットワークを通じて、Wi-Fiアクセスポイントを識別できるこのようなデータ(例えば、MACアドレス)を位置サーバに送信する。位置サーバは、各Wi-Fiアクセスポイントの地理的位置を検索して、Wi-Fiブロードキャスト信号の強度を参照して装置の地理的位置を計算し、装置の測位装置108に装置の地理的位置を送信する。
音声回路109、スピーカ113、およびマイク114は、ユーザと携帯電話100との間の音声インターフェースを提供し得る。音声回路109は、受信した音声データを電気信号に変換して電気信号をスピーカ113に送信してもよく、スピーカ113は電気信号を出力用の音声信号に変換する。また、マイク114は収集した音声信号を電気信号に変換し、音声回路109は電気信号を受信して電気信号を音声データに変換し、次に、別の携帯電話などに音声データを送信するために音声データをRF回路102に出力する、あるいはさらに処理するために音声データをメモリ103に出力する。
周辺機器インターフェース110は、外付けの入出力装置(例えば、キーボード、マウス、外付けディスプレイ、外付けメモリ、または加入者識別モジュールカード)用のさまざまなインターフェースを提供するように構成される。例えば、携帯電話100は汎用シリアルバス(Universal Serial Bus,USB)インターフェースを使用してマウスに接続される、あるいは携帯電話100は加入者識別モジュールカードのカードスロットの金属接触を使用して、通信事業会社によって提供される加入者識別モジュール(Subscriber Identification Module,SIM)カードに接続される。周辺機器インターフェース110は、外付けの入出力周辺機器をプロセッサ101およびメモリ103に結合するように構成され得る。
携帯電話100は、部品に電力を供給する電源装置111(例えば、バッテリおよび電源管理チップ)をさらに備えてもよい。バッテリは、電源管理チップを使用してプロセッサ101に論理的に接続されてもよく、その結果、電源装置111を使用して、充電管理、放電管理、および電力消費管理などの機能が実施される。
携帯電話100は、1つ以上のカメラ115をさらに備えてもよい。具体的には、携帯電話は、1つ以上の前面カメラを備えてもよく、あるいは1つ以上の背面カメラを備えてもよく、あるいは1つ以上の前面カメラと1つ以上の背面カメラとを備えてもよい。カメラ115の具体的な構造については、以降の図2の説明を参照されたい。ここで詳細な説明はされない。
図1には示されていないが、携帯電話100は、フラッシュ、超小型映写機、近距離無線通信(Near Field Communication,NFC)装置などをさらに備えてもよい。ここで詳細な説明はされない。
以下の実施形態における方法はすべて、前述のハードウェア構造を有する携帯電話100で実施され得る。
本願における実施形態で提供される周囲光検出方法をよりよく理解するために、端末のカメラの構造および作動原理についてまず簡単に説明する。
図2は、携帯電話100のカメラ115の概略的な構造図である。通常、カメラは主としてレンズ(lens)201と、赤外線カット(infrared cut,IR cut)フィルタ202と、センサ集積回路(Sensor IC)203と、デジタル信号処理(Digital Signal Processing,DSP)チップ204とを備える。いくつかの他の実施形態では、カメラのSensor ICとDSPとは1つのチップに統合されることを理解されたい。これは、本願におけるこの実施形態において限定されない。
レンズ201はレンズ構造を有し、通常は1つ以上のレンズを含み、センサの採光率を決定する。通常、レンズはプラスチック(PLASTIC)レンズまたはガラス(GLASS)レンズを含む。一般的なレンズ構造は、1P、2P、1G1P、1G3P、2G2P、4Gなどを含む。
赤外線カットフィルタ202は、レンズ201を通過する光の色分解を行うように構成される。現在は赤外線カットフィルタ用の2つの色分解法があり、それはRGB(Red Green Blue)原色分解法(すなわち三原色分解法)、およびCMYK(Cyan Magenta Yellow Key-Plate)補色分解法である。自然光のどのような色も、R、G、およびBの3つの光の色を異なる比率で混合することによって得られるので、本願におけるこの実施形態では、赤外線カットフィルタ202を使用することによって自然光が3種類の単色光R、G、およびBに分解され得る。
センサ集積回路203はセンサ(sensor)を含み、画像センサ、カメラセンサ、または感光性センサとも呼ばれる場合がある。sensorは半導体チップであり、sensorの表面はフォトダイオードなどの複数の感光性素子を含む。感光性素子は、光フィルタによって濾光された単色光を受け、その後、対応する電荷を生成する。具体的には、sensorはレンズ201から受けた光を電気信号に変換し、次に、内部アナログ/デジタル(Analog to Digital,AD)変換によって電気信号をデジタル信号に変換するこの場合、デジタル信号のデータは生データ(raw data)と呼ばれる。各感光性素子は、R光、B光、またはG光などの単色光のみを感知することができる。
カメラは複数の画素(pixel)を含むことに留意されたい。各画素は、感光性素子のうちの1つを含んでもよい。あるいは各画素は、1つの感光性素子と、感光性素子に対応する1つの光フィルタとを含む。あるいは各画素は、1つの感光性素子と、感光性素子に対応する1つの光フィルタとを含むことに加えて、別の関連する構成要素をさらに含んでもよい。
デジタル信号処理チップ204は、sensorからraw dataを取得し、生データ上で一連の処理を実行し、処理したデータを映像出力装置のプロセッサに送信するように構成される。最終的に、映像出力装置は画像を表示する。デジタル信号処理チップ204は、データをプロセッサに送信した後にsensorをリフレッシュするようにさらに構成され、その結果、sensorは次のグループのraw dataを取得する。
データ信号処理チップ204は、画像信号プロセッサ(image signal processor,ISP)を含み、取得したraw dataを、YUV形式またはRGB形式などの表示をサポートする形式に変換するように特に構成される。データ信号処理チップ204は、カメラインターフェース(camera interface,CAMIF)をさらに含み、ISPによって処理されたデータを携帯電話のプロセッサに送信するように特に構成される。
カメラの作動原理は以下の通りであり、レンズ201を通過した後に、携帯電話から出た光は赤外線カットフィルタ202によって濾光され、次にsensorの表面を照射する。sensorは受けた光を電気信号に変換し、次に、raw dataを取得するために内部AD変換によって電気信号をデジタル信号に変換する。sensorにDSPが統合されていない場合は、raw dataは携帯電話のプロセッサに送信される。この場合、データ形式はRAW DATAの形式である。sensorにDSPが統合されている場合は、取得したraw dataが処理されて、YUV形式またはRGB形式のデータが出力される。最終的に、携帯電話のプロセッサは画像を表示するために、データを映像出力装置(例えば、framebuffer)に送信する。
本願における実施形態では、以下、前面カメラで検出された周囲光の輝度値に基づいて、ディスプレイの輝度が調節される例を説明する。
端末の前面カメラのsensorに含まれる複数の画素はN個の領域に分割され、Nは1より大きい整数である。各領域の輝度値が取得され、周囲光の輝度値は各領域の輝度値に基づいて決定される。次に、決定した周囲光の輝度値に基づいてディスプレイの輝度が調節される。
N個の領域に分割する方法は、等分割であってもよい。つまり、全領域の面積が同じになる。あるいは、分割はレンズの光学特性に基づいて行われてもよい。分割法則および分割後の各領域の画素数は、本願におけるこの実施形態において限定されない。例えば、図3aではsensor内の画素は9つの領域に均等に分割され、9つの領域の大きさは同じであり、領域に含まれる画素数は同じである。図3bではsensor内の画素は12の領域に分割され、12の領域の大きさは異なり、領域に含まれる画素数が異なっている。
本明細書における領域分割は、画素を異なる領域に物理的に分離することではなく、複数の画素のグルーピングに相当することに留意されたい。グルーピングの法則は、いくつかの隣接する画素が1つのグループに分類され、このグループ内の画素は1つの領域内にあるものとされる。また、本明細書における領域分割またはグルーピングは事前設定されている。
カメラの光学特性から分かることとして、レンズに到達する光の分布が異なっていることは理解されよう。つまり、カメラの領域が異なれば光の減衰が異なる。したがって、カメラによって収集された光の輝度を検出するために領域分割が行われ、検出した各領域の輝度値に対して、程度の異なる補正が行われる。これは検出した輝度値の精度を高めるのに役立つ。
例えば、事前設定した補正規則に従って全領域の輝度値が補正されてもよく、補正後の領域における輝度値の最大値が、現在の周囲光の輝度値として決定される。
事前設定される補正規則は、カメラの中心位置に配置された領域を検出して得られた輝度値は補正の度合いがゼロまたはわずかであり、中心位置から遠く離れた領域を検出して得られた輝度値は補正の度合が大きい、というものであってもよい。領域から中心位置までの距離は、領域の中心点から、中心位置までの距離であってもよい。図5に示すように、点Aを中心位置と仮定する。点Aを中心点として使用し、その半径がr1である円形領域(領域1)が中心領域とみなされてもよい。中心領域では補正は行われなくてもよい、あるいは補正値が非常に小さい(以下の記述におけるP1未満になる)。点Aからの半径がr1よりも大きくr2よりも小さい領域(領域2)に対する補正値はP1であり、かつ点Aからの半径がr2よりも大きくr3よりも小さい領域(領域3)に対する補正値はP2であり、r1<r2<r3であり、かつP1<P2である。
任意で、カメラの中心位置および視野(field of view,FOV)のエッジ位置の輝度値は、2つの輝度値の差異または比を取得するために事前にテストされてもよく、2つの輝度値の差異または比が補正の基準として使用される。例えば、固定位置における一定輝度での光源の放射では、カメラの中心位置の輝度値はQ1 lux(照度の単位)と読み取られ、カメラのFOVのエッジ位置の輝度値はQ2 luxと読み取られる。カメラの光学特性、または光源の特性などの因子に基づいて、Q1とQ2との差(△Q)、またはQ1対Q2比が補正基準として決定され得る。Q1とQ2との差(△Q)が補正基準として使用されるものとする。この場合、端末が周囲光検出を実行したとき、実際に測定された中心位置の輝度値はQ3 luxで、FOVのエッジ位置で実際に測定された輝度値はQ4 luxである。この場合、実際に測定されたQ3に対する補正は行われなくてもよく、つまり、カメラの中心位置の現在の輝度値はQ3 luxと決定される。例えば、実際に測定されたQ4に対する補正が行われて(Q4+△Q)luxが得られ、つまりカメラのFOVのエッジ位置の現在の輝度値は(Q4+△Q)luxと決定される。
任意で、sensorで領域分割が行われた後に、各領域で受信した光学信号に基づいて光源が識別されてもよく、その後は、別の補正規則または表示輝度調節方針が使用される。例えば、sensorの全領域内の1つのみの領域、またはいくつかの隣接する領域の、1つまたは複数の輝度値が比較的大きい場合は、光源は点光源と判定されてもよい。カメラのFOV範囲のエッジで測定された輝度値に対しては比較的大きい補正が行われてもよい。sensorの全領域内で、いくつかの隣接していない領域の輝度値が比較的大きい場合は、光源は多点光源と判定されてもよい。sensorで測定された輝度値に対して、複数の光源の分布に基づいて勾配補正が行われてもよい。特定の補正方法には限定されない。sensorの全領域の各輝度値が大きく変化し、特定の規則に従っている場合は、端末が移動状態にあり、ディスプレイの輝度は調節しなくてもよいと判定されてもよい。
任意で、カメラの光学特性から分かることとして、光源がカメラのFOV範囲内に位置していると、周囲光の輝度値でカメラによって検出された輝度値は比較的安定した値になる。光源がカメラのFOV範囲外に位置していると、周囲光の輝度値でカメラによって検出される輝度値は急激に低下する。したがって、周囲光の輝度値で端末によって決定される輝度値の精度を高めるために、カメラのFOV範囲が大きくされてもよい。
任意で、N個の領域のうちのいずれか1つに対し、領域内のM個の画素の輝度値を使用して領域の輝度値が取得されてもよい。例えば、領域内のM個の画素の輝度値が読み取られ、次に、M個の画素の輝度値に基づいて領域の輝度値が決定される。例えば、領域の輝度値を取得するために、M個の画素の輝度値に対して加重計算が行われてもよい。領域内に含まれる画素数はM個以上である。
ここで、Mは3以上の整数であってもよい。1つの領域では、M個の画素の読み取られた輝度値は、R光の少なくとも1つの値と、G光の少なくとも1つの値と、B光の少なくとも1つの値とを含み得る。このようにして領域の輝度値が計算されるときは、状況に基づいてR光、G光、およびB光の輝度値に異なる重みが加算されてもよく、これらの輝度値が加算されて、領域の輝度値が得られてもよい。
端末の各領域は、複数の第1の画素と、複数の第2の画素とを含むことに留意されたい。第1の画素は、周囲光を検出するために端末によって指定された画素である。ここで、各領域で読み取られたM個の画素は、M個の第1の画素である。第2の画素は、周囲光検出用として指定されていない画素である。端末は撮影機能用に、第1の画素および第2の画素を含む全画素を使用する。
端末でディスプレイの表示輝度を自動的に調節する機能が有効になったときは、端末は周囲光検出を行う必要がある。この場合は端末内の第1の画素のすべてが活性化状態になっている、すなわち第1の画素が機能できる状態になっている。端末で撮影機能が使用可能になると、第1の画素のすべてと、第2の画素のすべてとが活性化状態になる。端末で、ディスプレイの表示輝度を自動調節する機能が有効であって撮影機能が使用可能になっていないときは、第1の画素は活性化状態で、第2の画素は非活性化状態になっている。端末でディスプレイの表示輝度を自動的に調節する機能が有効になった場合に、端末でカメラ機能が使用可能なときは、端末は第2の画素をすべて活性化する(第1の画素は、ディスプレイの表示輝度を自動的に調節する機能が有効になったときに活性化されている)。
図3aに示すように、第1の画素のいくつかは各領域で事前設定されている。例えば、2つのR光画素と、1つのG光画素と、1つのB光画素とが各領域で事前設定されている。本願におけるこの実施形態では、各領域の第1の画素の数には制限がなく、特定の数のR光画素と、特定の数のG光画素と、特定の数のB光画素とは制限されない。また、2つの領域内にある第1の画素の数が異なっていてもよい。
領域が異なると、Mの値が異なる場合があることに留意されたい。例えば、第1の領域では、M1個の画素の輝度値が計算に使用される場合があり、第2の領域では、M2個の画素の輝度値が計算に使用される場合があり、M1とM2とは等しくてもよく、あるいは等しくなくてもよい。また、同じ領域内で、R光画素の読み取られた輝度値の数と、G光画素の読み取られた輝度値の数と、B光画素の読み取られた輝度値の数とは同じであってもよく、あるいは異なっていてもよい。例えば、領域内でK1個のR光画素の輝度値と、K2個のG光画素の輝度値と、K3個のB光画素の輝度値とが読み取られ、K1とK2とK3とは同じであってもよく、あるいは異なっていてもよい。
図3cに示すように、1列目の第1の領域11には、事前に指定された第1の画素が、R光画素1つ、G光画素1つ、そしてB光画素1つの合計3つある。1列目の第2の領域12には、事前に指定された第1の画素が、R光画素2つ、G光画素1つ、そしてB光画素1つの合計4つある。1列目の第3の領域13には、事前に指定された第1の画素が、R光画素2つ、G光画素2つ、そしてB光画素1つの合計5つある。別の領域で指定されている第1の画素については、添付の図面を参照されたい。詳細な説明はされない。
例えば、色温度が異なれば、輝度値が同じでもユーザに与える視覚体験は異なる。したがって、色温度に基づいて、R光、G光、およびB光の輝度値に対する加重が異なる場合があり、次に、領域の輝度値を取得するために、加重に基づいてR光、G光、およびB光の輝度値が加算される。最終的に、現在の周囲光の輝度値が得られる。例えば、日光が強い屋外環境など色温度が比較的高いときは、ディスプレイの画像はやや赤みを帯びて見える。したがって、輝度値を計算するときに、R光の輝度値の加重が大きくなる場合がある。このように、計算で得られる輝度値は比較的大きい。したがって、計算した輝度値に基づいてディスプレイの輝度を調節するときは、ユーザの使い心地をよくするために、端末は輝度を下げてもよい。寒冷な気候の中など色温度が比較的低いときは、ディスプレイの画像はやや青みを帯びて見える。したがって、輝度値を計算するときに、B光の輝度値の加重が大きくなる場合がある。このように、計算で得られる輝度値は比較的大きい。したがって、計算した輝度値に基づいてディスプレイの輝度を調節するときは、ユーザの使い心地をよくするために、端末は輝度を下げてもよい。
例えば、色温度が1の条件下では、R光に対応する加重はH1、G光に対応する加重はJ1、そしてB光に対応する加重はK1とされ、H1+J1+K1=1である。この場合、領域の現在の輝度値=R光の輝度値×H1+G光の輝度値×J1+B光の輝度値×K1となる。領域内の事前設定したR光のすべての輝度値の中で、R光の輝度値が最大値(または平均値)とされてもよい。領域内の事前設定したG光のすべての輝度値の中で、G光の輝度値が最大値(または平均値)とされてもよい。領域内の事前設定したB光のすべての輝度値の中で、B光の輝度値が最大値(または平均値)とされてもよい。
別の例では、色温度が2の条件下では、R光に対応する加重はH2、G光に対応する加重はJ2、そしてB光に対応する加重はK2とされ、H2+J2+K2=1である。ここで、H1はH2とは異なり、J1はJ2とは異なり、K1はK2とは異なる。この場合、領域の現在の輝度値=R光の輝度値×H2+G光の輝度値×J2+B光の輝度値×K2となる。領域内の事前設定したR光のすべての輝度値の中で、R光の輝度値が最大値(または平均値)とされてもよい。領域内の事前設定したG光のすべての輝度値の中で、G光の輝度値が最大値(または平均値)とされてもよい。領域内の事前設定したB光のすべての輝度値の中で、B光の輝度値が最大値(または平均値)とされてもよい。
例えば、異なる光源にはR光、G光、およびB光の異なる成分が含まれるので、異なる光源の特徴に基づいて、R光、G光、およびB光の輝度値に異なる重みが加算されてもよい。次に、領域の輝度値を取得するために、加重に基づいてR光、G光、およびB光の輝度値が加算される。最終的に、現在の周囲光の輝度値が得られる。例えば、R光を多く含む光源の場合は、領域の輝度値が計算されるときにR光の加重が大きくなる場合がある。このように、計算で得られる輝度値は比較的大きい。これは、光源のR光が除去された後に、計算した輝度値が実際の輝度値よりも小さくなり、結果として、計算した輝度値に基づいてディスプレイの輝度を調節すると、その効果がやや悪くなる問題を回避するのに役立つ。したがって端末は、計算によってより大きい輝度値を得るためにR光の加重を大きくしてもよく、その後、計算した輝度値に基づいて、ディスプレイの輝度を調節するときに輝度を下げてもよい。これはユーザの使い心地をよくするのに役立つ。同様に、G光を多く含む光源の場合は、領域の輝度値が計算されるときにR光の加重が大きくなる場合がある。B光を多く含む光源の場合は、領域の輝度値が計算されるときにR光の加重が大きくなる場合がある。
以下、周囲光検出のためにカメラで領域分割が行われる具体的な実施プロセスについて説明する。
従来技術では、端末で撮影機能が使用可能になると、活性化状態になるようにsensorが(第1の画素および第2の画素を含む)全画素を制御し、全画素を使用して画像全体の輝度値がレジスタに出力され、端末は画像の輝度値を取得するためにレジスタを読み取って、輝度値に基づいて画像を表示する。端末で撮影機能が使用できなくなっているときは、sensorは非活性化状態になるように全画素を制御し、sensorを照射する光に対して、光感知および対応する処理を行う必要はない。
図6は、本願における実施形態による、周囲光検出方法のフローチャートである。本方法は、具体的には以下のステップを含む。
S101において、端末はカメラ内の各第1の画素を活性化状態になるように制御し、各第1の画素の検出された第1の輝度値を取得する。
カメラの画素は少なくとも2つの領域に分割され、各領域は複数の画素を含み、各領域内の複数の画素のうちの少なくとも3つの画素が第1の画素として使用される。周囲光輝度を検出する必要がある状況では、各第1の画素が活性化状態になる。活性化状態になっている第1の画素の、検出された光輝度値が第1の輝度値になる。
そのとき、各第1の画素は1つの第1の輝度値に対応する。
sensorは、sensorに含まれる各画素の状態を活性化状態または非活性化状態になるように制御し得ることは理解されよう。活性化状態の画素は光を受け、光学信号を電気信号に変換するために光電変換を実行し、かつ電気信号をデジタル信号に変換するために、電気信号にアナログ/デジタル変換を実行し得る。デジタル信号は画素の輝度値を含む。その後、画素の輝度値はレジスタに記憶され、センサハブ(sensor hub)が、集積回路間(Inter-Integrated Circuit,IIC)バスなどを使用してレジスタの値を読み取ることによって輝度値を取得し得る。
したがって、端末は周囲光を検出するために、各領域でいくつかの画素(つまり第1の画素)を事前設定してもよい。端末で周囲光検出機能が有効になっていて携帯電話の画面がオンのとき、sensorは、現在の光の輝度値を検出するためにこれらの事前設定された画素を活性化状態になるように制御し、検出した各画素の第1の輝度値をレジスタに記憶する(例えば、各第1の画素が1つのレジスタに対応し得る)。
S102において、端末は各第1の画素の検出された第1の輝度値に基づいて、各領域の第2の輝度値を取得する。
各領域は、複数の第1の画素を含む。輝度値、すなわち領域の第2の輝度値は、領域内のすべての第1の画素の、検出された第1の輝度値に基づいて取得され得る。1つの領域は、1つの第2の輝度値に対応することがわかる。言い換えれば、領域の複数の第1の輝度値を使用して取得した第2の輝度値が、領域の輝度値を表すのに使用される。具体的な実施プロセスでは、端末は具体的な領域分割動作を行わなくてもよいが、端末内のすべての第1の画素を事前にグルーピングしてもよいことに留意されたい。各グループは複数の第1の画素を含み、各グループは1つの領域に対応する。次に、グループ内のすべての第1の画素に対応する第1の輝度値に基づいて、各グループに対応する第2の輝度値が取得され、第2の輝度値は、グループに対応する領域の第2の輝度値と同じである。
領域のうちの1つが、説明のための例として使用される。
いくつかの例では、端末のsensor hubは、各レジスタの第1の輝度値を読み取って、第1の輝度値を端末のプロセッサ(例えば、アプリケーションプロセッサ)に報告してもよい。端末のプロセッサは、領域の輝度値(すなわち第2の輝度値)を取得するために加重計算を行う。
いくつかの例では、各レジスタで第1の輝度値を読み取った後に、端末のカメラのsensorは、領域の輝度値(すなわち第2の輝度値)を取得するために、第1の輝度値に対して加重計算を行ってもよい。次に、sensor hubは、第2の輝度値を読み取って、第2の輝度値を端末のプロセッサに報告する。
このステップで加重計算を行う本体は、本願におけるこの実施形態において限定されないことに留意されたい。
sensor hubが各レジスタの輝度値を読み取るときは、使用される通信プロトコルはIICであってもよく、あるいはシリアル周辺機器インターフェース(Serial Peripheral Interface,SPI)などの別の通信プロトコルであってもよいことに留意されたい。
S103において、端末は各領域の第2の輝度値に基づいて、現在の周囲光の輝度値を取得する。
各領域は、1つの第2の輝度値に対応する。したがって、端末は現在の周囲光の輝度値として、すべての領域に対応する第2の輝度値から最大値を選択する。任意で、カメラの領域が異なると光の減衰が異なるために、一部の領域の輝度値が補正される場合があり、現在の周囲光の輝度値として、補正後に取得された第2の輝度値から最大値が選択される。例えば、端末のプロセッサは、補正後の各領域の輝度値を取得するために、具体的な補正規則に従って、各領域の輝度値に対して補正計算を行う。最終的に、最大輝度値が領域の輝度値から選択され、補正後に現在の周囲光輝度値として取得される。
S104において、端末は、決定した周囲光の輝度値に基づいてディスプレイの輝度を調節する。
このようにしてディスプレイの表示効果が向上し、ユーザの使い心地がよくなる。
本願における実施形態では、カメラの撮影機能とカメラの周囲光検出機能とは2つの独立した機能であり、互いに影響を与えないことに留意されたい。端末で周囲光を自動的に調節する機能が有効になった後に、端末の電源がオンにされ、かつ画面がオンになっているときは、周囲光検出はカメラを使用して常に行われてもよく、カメラが撮影を行うかどうかに影響されない。周囲光検出プロセスでは、カメラは撮影を行うことができる。また、カメラの撮影プロセスで、カメラが周囲光強度を検出することもできる。カメラの撮影機能および周囲光検出機能に対応するレジスタは個別に配置されてもよく、2つの機能に対応するIICも個別に配置されてもよく、その結果、2つの機能を個別に実施することができる。
例えば、図4に示すように、本願における実施形態では、端末が撮影を行うときは、カメラの全画素が光を感知した後に生成されたRGBデータが第1のレジスタに記憶されてもよい。画像信号プロセッサ404は、IIC1を使用してカメラセンサ401の撮影パラメータを構成する。画像信号プロセッサ404は、例えば、MIPI(Mobile Industry Processor Interface)1を使用して、第1のレジスタのRGBデータを読み取り、データに基づいて画像処理を実行する。
さらに、図4に示すように、端末が周囲光検出を行うときは、カメラの第1の画素が光を感知した後に、取得した輝度データが第2のレジスタに記憶される。第2のレジスタは第1のレジスタとは異なり、複数の第1のレジスタと、複数の第2のレジスタとがあってもよい。本願において、レジスタの数は限定されない。センサハブ403は、例えば、IIC2を使用して、カメラセンサ401の第2のレジスタのそれぞれの輝度値を読み取る。
端末の撮影プロセスと、端末の周囲光検出プロセスとは2つの独立したプロセスであり、互いに干渉しないことがわかる。このように、カメラが撮影および周囲光検出を行うときに、分離した設計が実施される。したがって、カメラが待機モードになったときに、端末は周囲光検出も行うことができる。
前述の機能を実現するために、端末などは各機能を実施するための対応するハードウェア構造、および/またはソフトウェアモジュールを備えていることが理解できよう。本明細書に開示された実施形態で説明した例を組み合わせて、ユニット、アルゴリズム、およびステップは、本願における実施形態では、ハードウェア、またはハードウェアとコンピュータソフトウェアとの組み合わせによって実施できることが当業者には容易に認識されよう。機能がハードウェアで実行されるか、それともコンピュータソフトウェアによって駆動されるハードウェアで実行されるかは、技術的解決策の特定の用途および設計の制約に依存する。当業者であれば、各特定用途に対し、説明した機能を実施するために異なる方法を用いることができるが、この実施が本発明の実施形態の範囲を逸脱すると考えられるべきではない。
本願における実施形態では、端末などは前述した方法の例に基づいて、機能モジュールに分割されてもよい。例えば、分割することによってさまざまな機能に対応する機能モジュールが得られてもよく、あるいは2つ以上の機能が1つの処理モジュールに統合されてもよい。統合されたモジュールは、ハードウェアの形態で実装されてもよく、またはソフトウェアの機能モジュールの形態で実装されてもよい。本発明の実施形態では、モジュールに分割することは例であって、単なる論理的機能分割であることに留意されたい。実際の実施では、別の分割方法が使用される場合がある。
分割によってさまざまな機能に対応する機能モジュールが得られるとき、図7は、前述の実施形態における端末の可能な構造の概略図である。図7に示すように、端末700はカメラ701とプロセッサ702とを備える。
カメラ701は、図6のS101を行っている端末をサポートするように構成され、かつ/または本明細書で説明する技術の別のプロセスを行うように構成される。プロセッサ702は、図6のS102~S104のステップを行っている端末をサポートするように構成され、かつ/または本明細書で説明する技術の別のプロセスを行うように構成される。
前述した方法の実施形態における、ステップのすべての関連する内容は、対応する機能モジュールの機能説明に引用されてもよい。ここで詳細な説明はされない。
確実なこととして、端末700は、端末と別の装置との間の相互作用を行うように構成された、通信ユニットをさらに備えてもよい。端末700は、端末のプログラムコードおよびデータを記憶するように構成された記憶ユニットをさらに含んでもよい。また、機能ユニットで具体的に実施できる機能は、これに限定されないが、前述した実施形態の方法ステップに対応する機能を含む。端末700の他のユニットの詳細な説明については、ユニットに対応する方法ステップの詳細な説明を参照されたい。本願におけるこの実施形態において、ここで詳細な説明はされない。
一体化されたユニットが使用されるとき、前述のカメラは端末のカメラモジュールであってもよく、プロセッサ702は端末の処理モジュールであってもよい。通信ユニットは、RF回路、Wi-Fiモジュール、またはBluetooth(登録商標)モジュールなどの端末の通信モジュールであってもよい。記憶ユニットは、端末の記憶モジュールであってもよい。
図8は、前述の実施形態における端末の、可能な構造の概略図である。端末1100は、処理モジュール1101と、記憶モジュール1102と、通信モジュール1103とを含む。処理モジュール1101は、端末の動作に対する制御および管理を行うように構成される。記憶モジュール1102は、端末のプログラムコードおよびデータを記憶するように構成される。通信モジュール1103は、別の端末と通信するように構成される。処理モジュール1101は、中央処理ユニット(Central Processing Unit,CPU)、汎用プロセッサ、デジタル信号プロセッサ(Digital Signal Processor,DSP)、特定用途向け集積回路(Application-Specific Integrated Circuit,ASIC)、FPGA(Field Programmable Gate Array)、あるいは別のプログラム可能論理装置、トランジスタ論理装置、ハードウェア構成部品、またはこれらの任意の組み合わせなどの、プロセッサまたはコントローラであってもよい。処理モジュール1101は、本発明で開示されている内容を参照して説明したさまざまな例示的な論理ブロック、モジュール、および回路を実施または実行し得る。プロセッサは、計算機能を実施するプロセッサの組み合わせであってもよく、例えば、1つ以上のマイクロプロセッサの組み合わせ、あるいはDSPとマイクロプロセッサとの組み合わせであってもよい。通信モジュール1303は、送受信機、送受信機回路、通信インターフェースなどであってもよい。記憶モジュール1102は、メモリであってもよい。
処理モジュール1101がプロセッサ(図1に示すプロセッサ101)のとき、通信モジュール1103はRF送受信機回路(図1に示す高周波回路102)であり、記憶モジュール1102はメモリ(図1に示すメモリ103)であり、本願におけるこの実施形態で提供される端末は、図1の端末100である。通信モジュール1103はRF回路を備えてもよく、Wi-FiモジュールとBluetooth(登録商標)モジュールとをさらに備えてもよい。RF回路などの通信モジュール、Wi-Fiモジュール、およびBluetooth(登録商標)モジュールは、まとめて通信インターフェースと呼ばれる場合がある。プロセッサ、通信インターフェース、およびメモリは、バスを使用して互いに結合されてもよい。
実施についての前述の説明により、前述のように機能モジュールに分割したことは、説明をわかりやすくかつ簡潔にすることを目的とした、図示するための単なる例であることが当業者には理解できよう。実際に適用する際は、前述の機能は要件に基づいて、実施するために異なる機能モジュールに割り当てることができる。具体的には、装置の内部構造は、前述した機能の全部または一部を実装するために、異なる機能モジュールに分割される。前述のシステム、装置、およびユニットの詳細な作業プロセスについては、前述した方法の実施形態における、対応するプロセスを参照されたい。ここで再度詳細に説明はされない。
この用途で提供されるいくつかの実施形態において、開示されたシステム、装置、および方法は、他の方法で実施されてもよいことが理解されるべきである。例えば、説明した装置の実施形態は、単なる一例である。例えば、モジュールまたはユニットに分割することは、単なる論理的機能分割である。実際の実施では、別の分割方法がある場合がある。例えば、複数のユニットまたは構成要素が、別のシステムと組み合わせられるか、またはこれと一体化されてもよく、あるいはいくつかの特徴は、無視するかまたは実行しなくてもよい。また、示されるかあるいは論じられた、相互結合または直接結合、もしくは通信接続は、いくつかのインターフェースを用いて実装されてもよい。装置間またはユニット間の間接的結合もしくは通信接続は、電子的形態、機械的形態、または他の形態で実装されてもよい。
個別の部分として説明されたユニットは、物理的に分離していても分離していなくてもよく、また、ユニットとして示された部分は、物理的ユニットであってもそうでなくてもよく、1つの位置に配置されても、複数のネットワークユニット上に分散していてもよい。実施形態の解決策の目的を達成するための実際の要件に基づいて、ユニットの一部または全体を選択してもよい。
また、本願における実施形態の機能ユニットは、1つの処理ユニットに一体化されてもよく、またはユニットのそれぞれが単独で物理的に存在してもよく、または2つ以上のユニットが1つのユニットに一体化されてもよい。一体化されたユニットは、ハードウェアの形態で実装されてもよく、またはソフトウェアの機能ユニットの形態で実装されてもよい。
一体型ユニットが、ソフトウェアの機能ユニットの形態で実装され、独立した製品として販売または使用される場合、この一体型ユニットは、コンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づいて、本質的に、または部分的に従来技術に寄与する本願の技術的解決策、あるいは技術的解決策の全部または一部は、ソフトウェア製品の形態で実装されてもよい。コンピュータソフトウェア製品は、記憶媒体に記憶され、本願の実施形態で説明された方法の全部または一部のステップを実行するように、コンピュータ機器(例えばパーソナルコンピュータ、サーバ、またはネットワーク機器であってもよい)、またはプロセッサ(processor)に命令する、いくつかの命令を含んでいる。前述の記憶媒体には、フラッシュメモリ、着脱式ハードディスク、読み出し専用メモリ、ランダムアクセスメモリ、磁気ディスク、または光ディスクなど、プログラムコードを記憶できる任意の媒体が含まれる。
前述した説明は、単に本願の具体的な実施形態の特定の例であって、本願の保護の範囲を限定することを意図するものではない。本願で開示されている技術的範囲内での任意の変形または置き換えは、本願の保護の範囲内に入るものとする。したがって、本願の保護範囲は、特許請求の範囲の保護範囲によって決まるものとする。
100 携帯電話、端末
101 プロセッサ
102 高周波回路
103 メモリ
104 タッチ画面
104-1 タッチパッド
104-2 ディスプレイ
105 Bluetooth(登録商標)機器
106 センサ
107 Wi-Fi機器
108 測位装置
109 音声回路
110 周辺機器インターフェース
111 電源装置
112 指紋採取装置、指紋センサ
113 スピーカ
114 マイク
115 カメラ
201 レンズ
202 赤外線カットフィルタ
203 センサ集積回路
204 デジタル信号処理チップ
401 カメラセンサ
402 電源
403 センサハブ
404 画像信号プロセッサ
700 端末
701 カメラ
702 プロセッサ
1100 端末
1101 処理モジュール
1102 記憶モジュール
1103 通信モジュール

Claims (30)

  1. カメラとディスプレイとを備える端末に適用される周囲光検出方法であって、前記カメラは少なくとも2つの領域を有し、前記各領域は少なくとも1つの第1の画素と少なくとも1つの第2の画素を含み、
    前記第1の画素は、周囲光検出用として指定される画素であり、前記第2の画素は周囲光検出用として指定されていない画素であり、
    前記端末によって、前記各第1の画素の第1の輝度値を取得するステップであって、前記各第1の画素は1つの第1の輝度値に対応する、ステップと、
    前記端末によって、前記各領域に含まれるすべての第1の画素の第1の輝度値に基づいて、前記各領域の第2の輝度値を取得するステップであって、前記各領域は1つの第2の輝度値に対応する、ステップと、
    前記端末によって、すべての前記第2の輝度値に基づいて現在の周囲光の輝度値を取得ステップであって、前記各領域の前記第2の輝度値に対応する第2の輝度値から最大値を現在の周囲光の輝度値として選択し、前記輝度値はレジスタに記憶される、ステップと、
    前記端末によって、前記周囲光の前記輝度値に基づいて前記ディスプレイの輝度を調節する、ステップと
    を含む方法。
  2. 第1の領域におけるすべての第1の画素が、K1個の赤色光画素と、K2個の緑色光画素と、K3個の青色光画素とを含み、前記第1の領域が前記少なくとも2つの領域のうちのいずれか1つであり、
    前記端末が、前記各領域に含まれるすべての前記第1の画素の前記第1の輝度値に基づいて、前記各領域の前記第2の輝度値を取得するプロセスにおいて、前記端末は前記各領域に対し、
    前記端末によって、前記第1の領域に含まれる前記K1個の赤色光画素の、K1個の第1の輝度値に基づいて、赤色光の第3の輝度値を取得する操作であって、前記K1個の赤色光画素は、前記赤色光の1つの第3の輝度値に対応する、操作と、
    前記端末によって、前記第1の領域に含まれる前記K2個の緑色光画素の第1の輝度値に基づいて、緑色光の第3の輝度値を取得する操作であって、前記K2個の緑色光画素は、前記緑色光の1つの第3の輝度値に対応する、操作と、
    前記端末によって、前記第1の領域に含まれる前記K3個の青色光画素の第1の輝度値に基づいて、青色光の第3の輝度値を取得する操作であって、前記K3個の青色光画素は、前記青色光の1つの第3の輝度値に対応する、操作と、
    前記端末によって、前記赤色光の前記第3の輝度値と、前記緑色光の前記第3の輝度値と、前記青色光の前記第3の輝度値とに基づいて、前記第1の領域の第2の輝度値を決定する、操作と
    を実行する、請求項1に記載の方法。
  3. 前記端末によって、前記第1の領域に含まれる前記K1個の赤色光画素の、K1個の第1の輝度値に基づいて、赤色光の第3の輝度値を取得する前記ステップが、前記端末によって、前記K1個の第1の輝度値の平均値、または前記K1個の第1の輝度値の最大値が、前記赤色光の前記第3の輝度値であると決定することを含み、
    前記端末によって、前記第1の領域に含まれる前記K2個の緑色光画素の、K2個の第1の輝度値に基づいて、緑色光の第3の輝度値を取得する前記ステップが、前記端末によって、前記K2個の第1の輝度値の平均値、または前記K2個の第1の輝度値の最大値が、前記緑色光の前記第3の輝度値であると決定することを含み、
    前記端末によって、前記第1の領域に含まれる前記K3個の青色光画素の、K3個の第1の輝度値に基づいて、青色光の第3の輝度値を取得する前記ステップが、前記端末によって、前記K3個の第1の輝度値の平均値、または前記K3個の第1の輝度値の最大値が、前記青色光の前記第3の輝度値であると決定することを含む、
    請求項2に記載の方法。
  4. 前記端末によって、前記赤色光の前記第3の輝度値と、前記緑色光の前記第3の輝度値と、前記青色光の前記第3の輝度値とに基づいて、前記第1の領域の第2の輝度値を決定する前記ステップが、
    前記端末によって、前記赤色光の前記第3の輝度値、前記緑色光の前記第3の輝度値、および前記青色光の前記第3の輝度値の加重平均値を取得することと、
    前記端末によって、前記加重平均値を前記第1の領域の前記第2の輝度値として使用することと
    を含む、請求項2または3に記載の方法。
  5. 前記端末によって、前記赤色光の前記第3の輝度値と、前記緑色光の前記第3の輝度値と、前記青色光の前記第3の輝度値とに基づいて、前記第1の領域の第2の輝度値を決定する前記ステップが、
    前記端末によって、前記赤色光の前記第3の輝度値、前記緑色光の前記第3の輝度値、および前記青色光の前記第3の輝度値の加重平均値を取得することと、
    前記端末によって、前記第1の領域の前記第2の輝度値を取得するために、前記第1の領域の位置に基づいて前記加重平均値を補正することと
    を含む、請求項2または3に記載の方法。
  6. 前記端末が、前記各領域に含まれるすべての前記第1の画素の前記第1の輝度値に基づいて、前記各領域の前記第2の輝度値を取得するプロセスにおいて、前記端末は前記各領域に対し、
    前記端末によって、第1の平均値を第1の領域の第2の輝度値として使用する操作であって、前記第1の平均値は、前記第1の領域におけるすべての第1の画素の、第1の輝度値の平均値であり、
    前記第1の領域は、前記少なくとも2つの領域のうちのいずれか1つである、
    操作を実行する、請求項1に記載の方法。
  7. 前記端末が、前記各領域に含まれるすべての前記第1の画素の前記第1の輝度値に基づいて、前記各領域の前記第2の輝度値を取得するプロセスにおいて、前記端末は前記各領域に対し、
    前記端末によって、第1の領域の第2の輝度値を取得するために、前記第1の領域の位置に基づいて第1の平均値を補正する操作であって、前記第1の平均値は、前記第1の領域におけるすべての第1の画素の、第1の輝度値の平均値であり、
    前記第1の領域は、前記少なくとも2つの領域のうちのいずれか1つである、
    操作を実行する、請求項1に記載の方法。
  8. 前記第1の領域が前記カメラの中心位置に近い場合は、前記加重平均値または前記第1の平均値に対する補正が小さくなる、あるいは
    前記第1の領域が前記カメラの中心位置から遠い場合は、前記加重平均値または前記第1の平均値に対する補正が大きくなる、
    請求項5または7に記載の方法。
  9. 前記カメラが少なくとも1つの第2の画素をさらに含み、前記方法が、
    前記端末によって、前記カメラを使用可能にするのに使用される操作を受信する、ステップと、
    前記操作に応答して、前記端末によって、前記少なくとも1つの第2の画素を活性化する、ステップと
    をさらに含む、請求項1から8のいずれか一項に記載の方法。
  10. 前記端末によって、前記各第1の画素の第1の輝度値を取得する前記ステップの前に、前記方法が、
    前記端末によって、前記端末内の前記各第1の画素を活性化状態になるように制御する、ステップをさらに含む、請求項1から9のいずれか一項に記載の方法。
  11. 前記端末によって、前記各第1の画素の第1の輝度値を取得する前記ステップの前に、前記方法が、
    前記端末によって、前記ディスプレイの前記表示輝度を自動的に調節する機能を有効にする、ステップと、
    有効にする前記ステップに応答して、前記端末によって、前記端末内の前記各第1の画素を活性化状態になるように制御する、ステップと
    をさらに含む、請求項1から9のいずれか一項に記載の方法。
  12. 前記ディスプレイの前記表示輝度を自動的に調節する前記機能が有効にされ、かつ前記カメラが使用可能でない場合は、前記各第1の画素が前記活性化状態になり、かつ前記各第2の画素が非活性化状態になる、あるいは
    前記カメラが使用可能な場合は、前記各第1の画素と前記各第2の画素とが前記活性化状態になる、
    請求項9から11のいずれか一項に記載の方法。
  13. 前記端末によって、すべての前記第2の輝度値に基づいて現在の周囲光の輝度値を取得する前記ステップが、
    前記端末によって、すべての前記第2の輝度値のうちの最大値を前記現在の周囲光の前記輝度値として使用することを含む、請求項1から12のいずれか一項に記載の方法。
  14. カメラと、プロセッサと、ディスプレイとを備える端末であって、前記カメラは少なくとも2つの領域を有し、前記各領域は少なくとも1つの第1の画素と少なくとも1つの第2の画素を含み、
    前記第1の画素は、周囲光検出用として指定される画素であり、前記第2の画素は周囲光検出用として指定されていない画素であり、
    前記カメラは、前記各第1の画素の第1の輝度値を取得するように構成され、前記各第1の画素は1つの第1の輝度値に対応し、
    前記プロセッサは、前記各領域に含まれるすべての第1の画素の第1の輝度値に基づいて、前記各領域の第2の輝度値を取得するように構成され、前記各領域は1つの第2の輝度値に対応し、
    前記プロセッサは、すべての前記第2の輝度値に基づいて現在の周囲光の輝度値を取得するようにさらに構成され、前記各領域の前記第2の輝度値に対応する第2の輝度値から最大値を現在の周囲光の輝度値として選択し、前記輝度値はレジスタに記憶され、
    前記プロセッサは、前記周囲光の前記輝度値に基づいて、前記ディスプレイの輝度を調節するようにさらに構成される、端末。
  15. 第1の領域におけるすべての第1の画素が、K1個の赤色光画素と、K2個の緑色光画素と、K3個の青色光画素とを含み、前記第1の領域は前記少なくとも2つの領域のうちのいずれか1つであり、
    前記プロセッサが、前記各領域に含まれるすべての前記第1の画素の前記第1の輝度値に基づいて、前記各領域の前記第2の輝度値を取得するプロセスにおいて、前記プロセッサは前記各領域に対し、
    前記第1の領域に含まれる前記K1個の赤色光画素のK1個の第1の輝度値に基づいて、赤色光の第3の輝度値を取得する操作であって、前記K1個の赤色光画素は、前記赤色光の1つの第3の輝度値に対応する、操作と、
    前記第1の領域に含まれる前記K2個の緑色光画素の第1の輝度値に基づいて、緑色光の第3の輝度値を取得する操作であって、前記K2個の緑色光画素は、前記緑色光の1つの第3の輝度値に対応する、操作と、
    前記第1の領域に含まれる前記K3個の青色光画素の第1の輝度値に基づいて、青色光の第3の輝度値を取得する操作であって、前記K3個の青色光画素は、前記青色光の1つの第3の輝度値に対応する、操作と、
    前記赤色光の前記第3の輝度値と、前記緑色光の前記第3の輝度値と、前記青色光の前記第3の輝度値とに基づいて、前記第1の領域の第2の輝度値を決定する、操作と
    を実行する、請求項14に記載の端末。
  16. 前記第1の領域に含まれる前記K1個の赤色光画素の、K1個の前記第1の輝度値に基づいて、前記赤色光の前記第3の輝度値を取得するときは、前記プロセッサが、前記K1個の第1の輝度値の平均値、または前記K1個の第1の輝度値の最大値が、前記赤色光の前記第3の輝度値であると決定するように特に構成され、
    前記第1の領域に含まれる前記K2個の緑色光画素の前記第1の輝度値に基づいて、前記緑色光の前記第3の輝度値を取得するときは、前記プロセッサが、前記K2個の第1の輝度値の平均値、または前記K2個の第1の輝度値のうちの最大値が、前記緑色光の前記第3の輝度値であると決定するように特に構成され、
    前記第1の領域に含まれる前記K3個の青色光画素の前記第1の輝度値に基づいて、前記青色光の前記第3の輝度値を取得するときは、前記プロセッサが、前記K3個の第1の輝度値の平均値、または前記K3個の第1の輝度値の最大値が、前記青色光の前記第3の輝度値であると決定するように特に構成される、請求項15に記載の端末。
  17. 前記赤色光の前記第3の輝度値と、前記緑色光の前記第3の輝度値と、前記青色光の前記第3の輝度値とに基づいて、前記第1の領域の前記第2の輝度値を決定するときは、前記プロセッサが、前記赤色光の前記第3の輝度値、前記緑色光の前記第3の輝度値、および前記青色光の前記第3の輝度値の加重平均値を取得し、かつ前記加重平均値を前記第1の領域の前記第2の輝度値として使用するように特に構成される、請求項15または16に記載の端末。
  18. 前記赤色光の前記第3の輝度値と、前記緑色光の前記第3の輝度値と、前記青色光の前記第3の輝度値とに基づいて、前記第1の領域の前記第2の輝度値を決定するときは、
    前記プロセッサが、前記赤色光の前記第3の輝度値、前記緑色光の前記第3の輝度値、および前記青色光の前記第3の輝度値の加重平均値を取得し、前記第1の領域の前記第2の輝度値を取得するために、前記第1の領域の位置に基づいて前記加重平均値を補正するように特に構成される、請求項15または16に記載の端末。
  19. 前記プロセッサが、前記各領域に含まれるすべての前記第1の画素の前記第1の輝度値に基づいて、前記各領域の前記第2の輝度値を取得するプロセスにおいて、前記プロセッサは各領域に対し、
    第1の平均値を前記第1の領域の第2の輝度値として使用する操作であって、前記第1の平均値は、前記第1の領域におけるすべての第1の画素の、前記第1の輝度値の平均値であり、前記第1の領域は、前記少なくとも2つの領域のうちのいずれか1つである、操作を実行する、請求項14に記載の端末。
  20. 前記プロセッサが、前記各領域に含まれるすべての前記第1の画素の前記第1の輝度値に基づいて、前記各領域の前記第2の輝度値を取得するプロセスにおいて、前記プロセッサは各領域に対し、
    第1の領域の第2の輝度値を取得するために、前記第1の領域の位置に基づいて第1の平均値を補正する操作であって、前記第1の平均値が、前記第1の領域におけるすべての第1の画素の、前記第1の輝度値の平均値であり、
    前記第1の領域は、前記少なくとも2つの領域のうちのいずれか1つである、
    操作を実行する、請求項14に記載の端末。
  21. 前記第1の領域が前記カメラの中心位置に近い場合は、前記加重平均値または前記第1の平均値に対する補正が小さくなる、あるいは
    前記第1の領域が前記カメラの中心位置から遠い場合は、前記加重平均値または前記第1の平均値に対する補正が大きくなる、
    請求項18または20に記載の端末。
  22. 前記カメラが少なくとも1つの第2の画素をさらに含み、
    前記プロセッサが、前記カメラを使用可能にするのに使用される操作を受信するようにさらに構成され、
    前記カメラが、前記操作に応答して前記少なくとも1つの第2の画素を活性化するようにさらに構成される、請求項14から21のいずれか一項に記載の端末。
  23. 前記カメラが、前記端末が前記各第1の画素の前記第1の輝度値を取得する前に、前記端末内の前記各第1の画素を活性化状態になるよう制御するようにさらに構成される、
    請求項14から22のいずれか一項に記載の端末。
  24. 前記プロセッサが、前記端末が前記各第1の画素の前記第1の輝度値を取得する前に、前記ディスプレイの前記表示輝度を自動的に調節する機能を有効にするようにさらに構成され、
    前記カメラが、前記有効にすることに応答して、前記端末内の前記各第1の画素を活性化状態になるよう制御するようにさらに構成される、
    請求項14から22のいずれか一項に記載の端末。
  25. 前記ディスプレイの前記表示輝度を自動的に調節する前記機能が有効であって前記カメラが使用可能でない場合は、前記各第1の画素が前記活性化状態になり、前記各第2の画素が非活性化状態になる、あるいは
    前記カメラが使用可能な場合は、前記各第1の画素と前記各第2の画素とが前記活性化状態になる、
    請求項22から24のいずれか一項に記載の端末。
  26. すべての前記第2の輝度値に基づいて、前記現在の周囲光の前記輝度値を取得するときは、前記プロセッサが、すべての前記第2の輝度値のうちの最大値を前記現在の周囲光の前記輝度値として使用するように特に構成される、請求項14から25のいずれか一項に記載の端末。
  27. 前記プロセッサが、センサハブ、およびアプリケーションプロセッサのうちのいずれか1つである、請求項14から26のいずれか一項に記載の端末。
  28. プロセッサと、メモリと、タッチ画面とを備える端末であって、前記メモリと前記タッチ画面とは前記プロセッサに結合され、前記メモリはコンピュータプログラムコードを記憶するように構成され、前記コンピュータプログラムコードはコンピュータ命令を含み、前記プロセッサが前記メモリから前記コンピュータ命令を読み取ると請求項1から13のいずれか一項に記載の方法が実行される、端末。
  29. コンピュータ命令を含むコンピュータ記憶媒体であって、端末で前記コンピュータ命令が実行されると、前記端末が請求項1から13のいずれか一項に記載の方法を実行可能な、コンピュータ記憶媒体。
  30. 請求項1から13のいずれか一項に記載の方法を実行するようにプロセッサを適合させる、プログラム。
JP2020554133A 2018-04-04 2018-04-28 周囲光検出方法および端末 Active JP7142715B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810302048.6 2018-04-04
CN201810302048 2018-04-04
PCT/CN2018/085107 WO2019192044A1 (zh) 2018-04-04 2018-04-28 一种环境光检测的方法及终端

Publications (2)

Publication Number Publication Date
JP2021518722A JP2021518722A (ja) 2021-08-02
JP7142715B2 true JP7142715B2 (ja) 2022-09-27

Family

ID=68100026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020554133A Active JP7142715B2 (ja) 2018-04-04 2018-04-28 周囲光検出方法および端末

Country Status (5)

Country Link
US (1) US11250813B2 (ja)
JP (1) JP7142715B2 (ja)
KR (1) KR102434930B1 (ja)
CN (2) CN113923422B (ja)
WO (1) WO2019192044A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114485934B (zh) * 2020-11-13 2024-01-30 北京小米移动软件有限公司 一种光线检测组件、屏幕组件及电子终端
CN113240757B (zh) * 2021-05-12 2023-07-14 深圳市光科全息技术有限公司 蓝光参数检测方法、装置、设备和介质
CN117116203A (zh) * 2022-08-29 2023-11-24 深圳市Tcl云创科技有限公司 屏幕亮度调整方法、装置、存储介质及电子设备
CN117938996A (zh) * 2023-12-28 2024-04-26 荣耀终端有限公司 检测环境光的方法和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001223792A (ja) 2000-02-09 2001-08-17 Mitsubishi Electric Corp 携帯電話機
JP2009130395A (ja) 2007-11-19 2009-06-11 Sharp Corp 撮像装置および電子情報機器
JP2010020072A (ja) 2008-07-10 2010-01-28 Canon Inc 表示装置
JP2014519045A (ja) 2011-04-29 2014-08-07 ▲華▼▲為▼▲終▼端有限公司 端末デバイス中の発光デバイスを制御するための方法と装置、ならびに端末デバイス
CN107222664A (zh) 2017-05-03 2017-09-29 广东欧珀移动通信有限公司 相机模组及电子装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101148791B1 (ko) * 2004-06-30 2012-05-24 엘지디스플레이 주식회사 타일형 표시장치
IL165852A (en) * 2004-12-19 2010-12-30 Rafael Advanced Defense Sys System and method for image display enhancement
KR100792986B1 (ko) * 2005-09-28 2008-01-08 엘지전자 주식회사 휴대 단말기에서의 렌즈 왜곡 보상 장치 및 방법
US8111290B2 (en) * 2008-06-06 2012-02-07 Microsoft Corporation Radiometric calibration using temporal irradiance mixtures
CN102693698A (zh) 2012-06-25 2012-09-26 济南大学 一种基于环境光变化的户外led显示屏亮度自动调节方法及***
CN103152523A (zh) * 2013-02-27 2013-06-12 华为终端有限公司 电子设备拍摄方法及装置和电子设备
CN104113617A (zh) 2013-04-16 2014-10-22 深圳富泰宏精密工业有限公司 背光亮度调节***及方法
TWI482145B (zh) * 2013-06-20 2015-04-21 Novatek Microelectronics Corp 影像顯示裝置及其背光調整方法
US9570002B2 (en) * 2014-06-17 2017-02-14 Apple Inc. Interactive display panel with IR diodes
CN105592270B (zh) * 2015-12-18 2018-02-06 广东欧珀移动通信有限公司 图像亮度补偿方法、装置及终端设备
CN106488203B (zh) 2016-11-29 2018-03-30 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
CN107566695B (zh) * 2017-08-14 2019-07-02 厦门美图之家科技有限公司 一种补光方法及移动终端
CN107645606B (zh) 2017-09-29 2021-02-05 努比亚技术有限公司 屏幕亮度调节方法、移动终端及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001223792A (ja) 2000-02-09 2001-08-17 Mitsubishi Electric Corp 携帯電話機
JP2009130395A (ja) 2007-11-19 2009-06-11 Sharp Corp 撮像装置および電子情報機器
JP2010020072A (ja) 2008-07-10 2010-01-28 Canon Inc 表示装置
JP2014519045A (ja) 2011-04-29 2014-08-07 ▲華▼▲為▼▲終▼端有限公司 端末デバイス中の発光デバイスを制御するための方法と装置、ならびに端末デバイス
CN107222664A (zh) 2017-05-03 2017-09-29 广东欧珀移动通信有限公司 相机模组及电子装置

Also Published As

Publication number Publication date
CN111345019B (zh) 2021-08-31
CN113923422A (zh) 2022-01-11
CN113923422B (zh) 2023-06-30
CN111345019A (zh) 2020-06-26
JP2021518722A (ja) 2021-08-02
US20210027746A1 (en) 2021-01-28
KR20200133383A (ko) 2020-11-27
KR102434930B1 (ko) 2022-08-19
WO2019192044A1 (zh) 2019-10-10
US11250813B2 (en) 2022-02-15

Similar Documents

Publication Publication Date Title
JP7142715B2 (ja) 周囲光検出方法および端末
US10827140B2 (en) Photographing method for terminal and terminal
US10560624B2 (en) Imaging control device, imaging control method, camera, camera system, and program
US20110102630A1 (en) Image capturing devices using device location information to adjust image data during image signal processing
US11546531B2 (en) Camera assembly, image acquisition method, and mobile terminal
US11231938B2 (en) Parameter configuration method for a display device having a plurality of drivers for each connected component
US20230298498A1 (en) Full-Screen Display Method and Apparatus, and Electronic Device
WO2020151385A1 (zh) 一种控制智能家居设备连网的方法及设备
CN108419008B (zh) 一种拍摄方法、终端及计算机可读存储介质
US20210144323A1 (en) Image sensor and mobile terminal
JP5677625B2 (ja) 信号処理装置、撮像装置、信号補正方法
CN108184105B (zh) 一种调整亮度的方法、装置及计算机可读存储介质
US11915667B2 (en) Method and system for displaying corrected image, and display device
WO2022267506A1 (zh) 图像融合方法、电子设备、存储介质及计算机程序产品
KR102607793B1 (ko) 카메라 모듈에 접지 노드를 연결하기 위한 전자 장치 및 방법
CN110995971A (zh) 摄像模组、电子设备、拍摄控制方法及装置
CN112637481B (zh) 图像缩放方法和装置
EP3249999B1 (en) Intelligent matching method for filter and terminal
US11722797B2 (en) Leakage light detection device, imaging device, leakage light detection method, and leakage light detection program
CN113012211B (zh) 图像采集方法、装置、***、计算机设备及存储介质
CN110620935B (zh) 图像处理方法及装置
US11936984B2 (en) Processor of imaging apparatus, imaging apparatus, control method of imaging apparatus, and control program of imaging apparatus
US20240007735A1 (en) Display Method and Terminal
WO2022127612A1 (zh) 图像校准方法和设备
US20240121515A1 (en) Tag assisted image capture parameter generation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220913

R150 Certificate of patent or registration of utility model

Ref document number: 7142715

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150