JP2006345529A - Method and system of red-eye correction using user-adjustable threshold - Google Patents

Method and system of red-eye correction using user-adjustable threshold Download PDF

Info

Publication number
JP2006345529A
JP2006345529A JP2006159507A JP2006159507A JP2006345529A JP 2006345529 A JP2006345529 A JP 2006345529A JP 2006159507 A JP2006159507 A JP 2006159507A JP 2006159507 A JP2006159507 A JP 2006159507A JP 2006345529 A JP2006345529 A JP 2006345529A
Authority
JP
Japan
Prior art keywords
red
eye
user
candidate red
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006159507A
Other languages
Japanese (ja)
Other versions
JP4275151B2 (en
Inventor
Dan L Dalton
ダン・エル・ダルトン
Christopher A Whitman
クリストファー・エイ・ウィットマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of JP2006345529A publication Critical patent/JP2006345529A/en
Application granted granted Critical
Publication of JP4275151B2 publication Critical patent/JP4275151B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30216—Redeye defect

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To allow a user to dynamically adjust a threshold for red-eye correction. <P>SOLUTION: An electronic device which performs automatic red-eye correction for a digital image includes a user-adjustable threshold, which allows the user to dynamically adjust sensitivity of an automatic red-eye correction algorithm while viewing a candidate red-eye location marked in the digital image. The dynamic threshold adjustment facilitates elimination of error detections while reducing the number of user's required gesture inputs. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、概してデジタル写真撮影に関し、特にデジタル画像における赤目効果の補正と連係して使用されるユーザインタフェースに関する。   The present invention relates generally to digital photography, and more particularly to a user interface used in conjunction with red-eye effect correction in digital images.

フラッシュ写真撮影に蔓延する問題は、撮影中のフラッシュが被写体の眼底に反射し、それにより目が赤く見える「赤目効果」である。この問題は一般的であるため、多くのデジタル写真編集アプリケーションは自動又は手動の赤目補正を含む。また、デジタルカメラによっては、カメラ自体で赤目補正を実行することができるものもある。   A problem that prevails in flash photography is the “red-eye effect” in which the flash being photographed reflects off the fundus of the subject, making the eyes appear red. Because this problem is common, many digital photo editing applications include automatic or manual red-eye correction. Also, some digital cameras can perform red-eye correction with the camera itself.

自動赤目補正アルゴリズムは一般に、複数の異なる特徴に基づいてデジタル画像を分析し、潜在的な赤目領域の各々に対して性能指数（figure of merit：良さの指数）を割り当てる。性能指数は、特定の潜在的な赤目領域が実際に「赤目」である信頼度を表すことができる。そして、性能指数が所定の閾値を超える潜在的な赤目領域に対して赤目補正が実行される。所定の閾値は一般に、ほとんどの誤検出（false positive）を排除するように選択されるが、それにも関わらず、いくつかの誤検出（例えば、人物の衣類の赤いボタン）が誤って補正されることになってしまう場合がある。
米国特許出願第１０／６５３，０１９号 米国特許出願第１０／７６７，３５５号 Automatic red-eye correction algorithms typically analyze a digital image based on a number of different features and assign a figure of merit to each of the potential red-eye regions. The figure of merit can represent a confidence that a particular potential red-eye region is actually “red-eye”. Then, red-eye correction is performed on a potential red-eye region where the figure of merit exceeds a predetermined threshold. The predetermined threshold is generally chosen to eliminate most false positives, but nevertheless some false positives (for example, red buttons on a person's clothing) are corrected incorrectly. It may end up.
US patent application Ser. No. 10 / 653,019 US patent application Ser. No. 10 / 767,355

このため、当該技術分野において、改良された赤目補正方法及び装置が必要とされていることは明らかである。   Thus, there is a clear need in the art for improved red-eye correction methods and apparatus.

本発明の一実施形態によれば、デジタル画像において赤目効果を補正するための方法が提供される。その方法は、デジタル画像内の少なくとも１つの候補赤目領域を自動的に特定し、各候補赤目領域に性能指数を割り当て、前記性能指数が所定の初期値を有する閾値を超える候補赤目領域を、ユーザに対して可視的にマーキングし、ユーザからの入力に応じて閾値を動的に調整し、閾値が動的に調整される際に、閾値に従っていずれかの候補赤目領域が可視的にマーキングされるかを更新することを含む。   According to one embodiment of the present invention, a method is provided for correcting red-eye effects in a digital image. The method automatically identifies at least one candidate red-eye region in a digital image, assigns a performance index to each candidate red-eye region, and selects candidate red-eye regions for which the performance index exceeds a threshold having a predetermined initial value. And dynamically adjusting the threshold according to user input, and when the threshold is dynamically adjusted, any candidate red-eye region is visually marked according to the threshold Including updating.

本発明の一実施形態によれば、電子装置が提供される。その電子装置は、デジタル画像を格納するメモリと、デジタル画像を表示するディスプレイと、デジタル画像内の少なくとも１つの候補赤目領域を自動的に特定し、各候補赤目領域に性能指数を割り当てるように構成されている、赤目分析ロジックと、性能指数が所定の初期値を有する閾値を超える候補赤目領域を、ユーザがディスプレイ上で可視的にマーキングするように構成された赤目補正ユーザインタフェースロジックと、ユーザが閾値を調整することができる閾値調整制御手段とを含む。   According to one embodiment of the present invention, an electronic device is provided. The electronic device is configured to automatically identify at least one candidate red-eye region in the digital image, and to assign a figure of merit to each candidate red-eye region, a memory for storing the digital image, a display for displaying the digital image, A red-eye analysis logic, a red-eye correction user interface logic configured to allow a user to visually mark a candidate red-eye region on a display whose performance index exceeds a threshold having a predetermined initial value; Threshold adjustment control means capable of adjusting the threshold.

本発明によれば、ユーザが赤目補正において閾値を動的に調整することが可能になり、それにより赤目補正が改善される。   The present invention allows the user to dynamically adjust the threshold in red-eye correction, thereby improving red-eye correction.

赤目補正は、ユーザが閾値を動的に調整することを可能にすることによって改善され得る。デジタル画像を分析して候補赤目領域を特定した後、そのデジタル画像をユーザに提示することができ、性能指数が所定の初期閾値を越える候補赤目領域を、そのデジタル画像内で可視的にマーキングすることができる。ユーザが閾値を動的に調整すると、調整された閾値に従ってより多くの候補赤目領域か又はより少ない候補赤目領域を視覚的にマーキングすることができる。   Red eye correction can be improved by allowing the user to adjust the threshold dynamically. After analyzing the digital image and identifying the candidate red-eye region, the digital image can be presented to the user, and the candidate red-eye region whose figure of merit exceeds a predetermined initial threshold is visually marked in the digital image. be able to. As the user dynamically adjusts the threshold, more or less candidate red-eye regions can be visually marked according to the adjusted threshold.

この手法の１つの利点は、より多くの誤検出（本物の「赤目」を含まない候補赤目領域）を排除するように、所定の初期閾値を最初からそれほど高感度には設定しなくてもよいということである。アルゴリズムが本物の「赤目」を見逃した場合、ユーザは、感度を上昇させるように閾値を調整することにより容易に補償することができる。場合によっては（即ち、すべての誤検出が本物の「赤目」のすべてより低い性能指数を有する場合）、ユーザは、誤検出を個々に（例えば、可視的にマーキングされた候補赤目領域にナビゲートし（進み）、それを後続の赤目補正に対して不適格とすることにより）拒絶する必要はない。その代わりに、ユーザは、単に感度が低下する方向に閾値を調整することにより、誤検出のすべてを排除することができる。少なくとも１つの誤検出が少なくとも１つの本物の「赤目」より高い性能指数を有する場合、以下でより完全に説明される効率的なユーザインタフェース技術を使用して、ユーザが誤検出を不適格とするために必要な動作の数を低減することができる。   One advantage of this approach is that the predetermined initial threshold does not have to be set very sensitive from the start so as to eliminate more false detections (candidate red-eye regions that do not contain real “red-eye”). That's what it means. If the algorithm misses a real “red eye”, the user can easily compensate by adjusting the threshold to increase sensitivity. In some cases (ie, when all false positives have a lower figure of merit than all real “red eyes”), the user navigates false positives individually (eg, to visually marked candidate red eye regions). There is no need to reject (by proceeding) and disqualifying it for subsequent red-eye correction. Instead, the user can eliminate all false detections by simply adjusting the threshold in a direction that reduces sensitivity. If at least one false positive has a figure of merit higher than at least one real “red eye”, the user ineligible false positives using an efficient user interface technique described more fully below. Therefore, the number of operations necessary for the purpose can be reduced.

図１Ａは、本発明の例示的な一実施形態による電子装置１００の機能ブロック図である。電子装置１００は、例えば、デスクトップコンピュータ、ノートブックコンピュータ、携帯情報端末（ＰＤＡ）、デジタルカメラ、無線電話（例えば、携帯電話又はデジタル携帯電話（ＰＣＳ電話））、又はデジタル画像を格納して表示し、そのデジタル画像に対して自動赤目補正を実行することができる他の任意の電子装置とすることができる。図１Ａにおいて、コントローラ１０５は、データバス１１０を介してディスプレイ１１５、入力制御手段１２０及びメモリ１２５と通信する。コントローラ１０５は、例えばマイクロプロセッサ又はマイクロコントローラからなることができる。ディスプレイ１１５は、液晶ディスプレイ（ＬＣＤ）からなることができる。実施形態によっては、ディスプレイ１１５はタッチスクリーンを含むことができる。入力制御手段１２０は、電子装置１００の動作を制御する物理的又は仮想の任意の入力制御手段を含むことができる。   FIG. 1A is a functional block diagram of an electronic device 100 according to an illustrative embodiment of the invention. The electronic device 100 stores and displays, for example, a desktop computer, a notebook computer, a personal digital assistant (PDA), a digital camera, a wireless phone (eg, a mobile phone or a digital mobile phone (PCS phone)), or a digital image. , Any other electronic device that can perform automatic red-eye correction on the digital image. In FIG. 1A, the controller 105 communicates with the display 115, input control means 120 and memory 125 via the data bus 110. The controller 105 can comprise, for example, a microprocessor or a microcontroller. Display 115 may comprise a liquid crystal display (LCD). In some embodiments, the display 115 can include a touch screen. The input control unit 120 may include any physical or virtual input control unit that controls the operation of the electronic device 100.

図１Ｂは、本発明の例示的な一実施形態による電子装置１００のメモリ１２５の高レベル図である。一般に、メモリ１２５は、ランダムアクセスメモリ（ＲＡＭ）１３０及び不揮発性メモリ１３５をともに含むことができ、それらは、取外し可能な種類のもの（例えば、セキュアデジタルメモリカード又はマルチメディアメモリカード）からなることができる。メモリ１２５は、赤目分析ロジック１４０、赤目補正ユーザインタフェースロジック１４５及び赤目補正ロジック１５０をさらに含むことができる。   FIG. 1B is a high-level diagram of memory 125 of electronic device 100 according to an illustrative embodiment of the invention. In general, the memory 125 can include both a random access memory (RAM) 130 and a non-volatile memory 135, which are of a removable type (eg, a secure digital memory card or a multimedia memory card). Can do. The memory 125 may further include red eye analysis logic 140, red eye correction user interface logic 145, and red eye correction logic 150.

赤目分析ロジック１４０は、デジタル画像における１つ又は複数の候補赤目領域を特定することができる。デジタル画像処理の分野において、自動赤目補正技術はよく知られている。一例は、ヒューレット・パッカード・カンパニー（Hewlett-Packard Company）に譲渡され、係属中の特許文献１に記載されており、その出願の開示内容は参照により本明細書に組み込まれる。この特許文献１には、特に、「赤目」を特定するのに役立つ可能性のある多数の特徴が、「赤目」を含むデジタル画像のデータベースに適用され、「赤目」を最も有効に区別する特徴が識別され、デジタルカメラ又はパーソナルコンピュータ等の電子装置内における自動赤目補正に使用される、設計プロセスが記載されている。   Red eye analysis logic 140 may identify one or more candidate red eye regions in the digital image. Automatic red-eye correction techniques are well known in the field of digital image processing. One example is assigned to Hewlett-Packard Company and is described in pending US Pat. No. 6,057,086, the disclosure of which application is incorporated herein by reference. In this Patent Document 1, in particular, a number of features that may be useful for identifying “red-eye” are applied to a database of digital images including “red-eye”, and features that most effectively distinguish “red-eye”. Is described and used in automatic red-eye correction in electronic devices such as digital cameras or personal computers.

引用した特許文献１において論考されるもののような技術を使用して、赤目分析ロジック１４０は、各候補赤目領域に性能指数を割り当てることができる。性能指数の細部、及びそれらが比較される閾値は、具現化形態毎に異なってもよい。例えば、具現化形態に応じて、性能指数は、関連する候補赤目領域が本物の「赤目」であるという信頼度に比例して又は反比例して変化することができる。前者（比例変化）の場合、「有効な」候補赤目領域は、性能指数が閾値を超え、後者（反比例変化）の場合、「有効な」候補赤目領域は、性能指数が閾値を下回る。この点に関して混乱を避けるために、この詳細な説明の全体にわたって、及び特許請求の範囲において、一般性を失うことなく、性能指数が信頼度に比例して変化するか、又は反比例して変化するか（又は他の何らかの態様で変化するか）に関わらず、関連する性能指数が「閾値を超える」候補赤目領域が、ディスプレイ１１５上での可視的なマーキング及びユーザへの提示に対して適格となると想定する。この詳細な説明において、「性能指数」と同義的に「信頼度スコア（confidence score）」を使用する場合もある。   Using techniques such as those discussed in the cited U.S. Patent No. 6,057,059, the red eye analysis logic 140 can assign a figure of merit to each candidate red eye region. The details of the figure of merit and the threshold to which they are compared may vary from implementation to implementation. For example, depending on the implementation, the figure of merit can vary proportionally or inversely with the confidence that the associated candidate red-eye region is genuine “red-eye”. In the former case (proportional change), the “effective” candidate red-eye region has a figure of merit that exceeds the threshold value, and in the latter case (inversely proportional change), the “effective” candidate red-eye region has a figure of merit below the threshold value. To avoid confusion in this regard, the figure of merit varies proportionally or inversely throughout the detailed description and in the claims without loss of generality. (Or whether it changes in some other way), candidate red-eye regions with an associated figure of merit "beyond the threshold" are eligible for visual marking on display 115 and presentation to the user. Assume that In this detailed description, a “confidence score” may be used synonymously with “performance index”.

赤目補正ユーザインタフェースロジック１４５は、信頼度スコアが閾値を超える候補赤目領域をディスプレイ１１５上で可視的にマーキングすることができる。最初に、赤目補正ユーザインタフェースロジック１４５は、それを、閾値の所定の初期値（例えば、経験的結果に基づく、妥当な妥協案として選択された値）に基づいて行うことができる。ユーザが閾値をその所定の初期値から調整すると、赤目補正ユーザインタフェースロジック１４５は、調整された閾値に従って可視的にマーキングされた候補赤目領域を更新することができる。実施形態によっては、閾値の各個別の調整（例えば、ボタンの押下又はスタイラスを軽く打つこと）により、閾値が調整される意味に応じて、少なくとも１つの追加の候補赤目領域が可視的にマーキングされるか、又は可視的にマーキングされる候補赤目領域が少なくとも１つ少なくなる。即ち、赤目補正ユーザインタフェースロジック１４５は、閾値の別個の調整ステップを量子化することにより、それらが、特定のデジタル画像の候補赤目領域に関連する性能指数と一致するようにしてもよい。当業者ならば、閾値の各別個の調整の後に、重複の除去、肌色試験及びペアマッチング等の特定の赤目補正分析ステップを繰り返すことが有利である場合があるといことを理解するであろう。   Red-eye correction user interface logic 145 can visually mark candidate red-eye regions on display 115 whose confidence score exceeds a threshold. Initially, the red-eye correction user interface logic 145 can do that based on a predetermined initial value of the threshold (eg, a value selected as a reasonable compromise based on empirical results). When the user adjusts the threshold from its predetermined initial value, the red-eye correction user interface logic 145 can update the candidate red-eye region that is visually marked according to the adjusted threshold. In some embodiments, each individual adjustment of the threshold (eg, pressing a button or tapping the stylus) visually marks at least one additional candidate red-eye region, depending on the meaning that the threshold is adjusted. Or at least one candidate red-eye region that is visibly marked. That is, the red-eye correction user interface logic 145 may quantize the separate adjustment steps of the threshold so that they match the figure of merit associated with the candidate red-eye region of a particular digital image. One skilled in the art will appreciate that it may be advantageous to repeat certain red-eye correction analysis steps such as duplicate removal, skin color testing and pair matching after each separate adjustment of the threshold.

「可視的にマーキングすること」は、ユーザインタフェースの分野においてよく知られている種々の態様で実現され得る。例えば、信頼度スコアが閾値を超える候補赤目領域を、幾何学図形（例えば、境界ボックス、円又は他の形状）で囲んでもよい。囲んでいる幾何学図形に対して、可視的にマーキングされた候補赤目領域がデジタル画像の残りの部分より目立つのに役立つ特定の色を選択することができる。   “Visually marking” may be implemented in various ways well known in the field of user interfaces. For example, candidate red-eye regions that have a confidence score that exceeds a threshold may be enclosed in a geometric figure (eg, a bounding box, circle, or other shape). For the enclosing geometry, a particular color can be selected that helps the visually marked candidate red-eye region stand out from the rest of the digital image.

赤目補正ロジック１５０は、必要に応じて、ユーザが閾値を調整し、又は別な方法で１つ又は複数の誤検出を不適格とした（赤目補正から排除した）後、各可視的にマーキングされた候補赤目領域において赤目補正を実行することができる。上に引用した特許文献１においてより詳細が提供されているが、赤目補正は、本質的に、「赤目」の赤色ピクセルをより適切な色のピクセルに置き換えることを含む。   The red eye correction logic 150 is marked each visibly after the user adjusts the threshold, or otherwise disqualifies one or more false positives (excluded from red eye correction), as necessary. Red-eye correction can be performed in the candidate red-eye region. Although more details are provided in U.S. Patent No. 6,057,071 cited above, red-eye correction essentially involves replacing the "red-eye" red pixel with a more appropriate color pixel.

赤目分析ロジック１４０、赤目補正ユーザインタフェースロジック１４５、及び赤目補正ロジック１５０は、ソフトウェア、ファームウェア、ハードウェア又はそれらの任意の組合せとして実施され得る。一実施形態では、赤目分析ロジック１４０、赤目補正ユーザインタフェースロジック１４５、及び赤目補正ロジック１５０は、コントローラ１０５により実行されるファームウェアに存在するプログラム命令に格納されてもよい。図１Ｂに示された赤目分析ロジック１４０、赤目補正ユーザインタフェースロジック１４５、及び赤目補正ロジック１５０間の機能的境界はさらに任意である。これらの要素の機能は、結合されてもよく、又は他の多くの可能性のある態様で分割されてもよく、それらの変形態様はすべて請求される本発明の範囲内にあるとみなされる。   Red eye analysis logic 140, red eye correction user interface logic 145, and red eye correction logic 150 may be implemented as software, firmware, hardware, or any combination thereof. In one embodiment, red eye analysis logic 140, red eye correction user interface logic 145, and red eye correction logic 150 may be stored in program instructions residing in firmware executed by controller 105. The functional boundaries between the red eye analysis logic 140, red eye correction user interface logic 145, and red eye correction logic 150 shown in FIG. 1B are further optional. The functions of these elements may be combined or divided in many other possible ways, all of which are considered to be within the scope of the claimed invention.

図１Ｃは、本発明の例示的な一実施形態による電子装置１００のディスプレイ１１５及び入力制御手段１２０の一部を示す図である。図１Ｃでは、例示の目的で、電子装置１００がデジタルカメラ（図１Ｃにはその背面を示す）であるものとする。電子装置１００が異なるタイプのものであるか、又は異なる種類のユーザインタフェースが使用される他の実施形態では、ディスプレイ１１５及び入力制御手段１２０の細部は大幅に異なる可能性がある。図１Ｃにおいて、入力制御手段１２０は、対向する方向制御手段の２つの対、即ち水平方向制御手段１６０及び垂直方向制御手段１６５と、メニュー／「ｏｋ」ボタン１７０とからなるユーザインタフェース制御手段のセット１５５を含むことができる。このユーザインタフェース制御手段のセット１５５は、図１Ｃに示されるように物理的なボタンからなることができ、又は例えば、タッチセンシティブスクリーン（ディスプレイ１１５）において仮想ボタンからなることができる。タッチスクリーンの場合、ユーザが保持するスタイラスを使用して、ディスプレイ１１５上の特定の制御要素に触れることができ、それによりほとんどの物理的ボタンが不要になる。対向する方向制御手段（１６０及び１６５）を使用して、例えば、ディスプレイ１１５上の項目間でナビゲートし、それらに焦点を合わせることができる。また、これらの制御手段を使用して、種々の状況において電子装置１００の特定のオプションの状態を切り替えることができる。メニュー／「ｏｋ」ボタン１７０を使用して、ディスプレイ１１５にメニューを呼び出すか、又は電子装置１００における動作を確定することができる（コンピュータキーボードの「エンター」キーのように）。電子装置１００がデスクトップコンピュータ又はノートブックコンピュータ等のコンピューティングデバイスである実施形態では、ユーザインタフェース制御手段のセット１５５は、例えば、マウス、トラックボール又は他のポインティングデバイスとすることができ、ユーザに対してフルサイズのキーボードが利用可能であってもよい。   FIG. 1C is a diagram illustrating a portion of the display 115 and the input control means 120 of the electronic device 100 according to an exemplary embodiment of the present invention. In FIG. 1C, for illustrative purposes, it is assumed that electronic device 100 is a digital camera (the back of which is shown in FIG. 1C). In other embodiments where the electronic device 100 is of a different type, or a different type of user interface is used, the details of the display 115 and input control means 120 can be significantly different. In FIG. 1C, the input control means 120 is a set of user interface control means consisting of two pairs of opposing direction control means, namely a horizontal direction control means 160 and a vertical direction control means 165, and a menu / "ok" button 170. 155 can be included. This set of user interface control means 155 can consist of physical buttons as shown in FIG. 1C or, for example, can consist of virtual buttons on a touch sensitive screen (display 115). In the case of a touch screen, a stylus held by the user can be used to touch certain control elements on the display 115, thereby eliminating most physical buttons. Opposing direction control means (160 and 165) can be used to navigate between and focus on items on the display 115, for example. These control means can also be used to switch the state of a particular option of electronic device 100 in various situations. The menu / “ok” button 170 can be used to invoke a menu on the display 115 or to confirm operation on the electronic device 100 (like an “Enter” key on a computer keyboard). In embodiments where the electronic device 100 is a computing device such as a desktop computer or notebook computer, the set of user interface controls 155 can be, for example, a mouse, trackball or other pointing device, to the user. A full-size keyboard may be available.

さまざまな入力制御手段１２０のうち、本発明の文脈では、３つのタイプの機能入力制御手段が特に有用である。即ち、（１）閾値調整制御手段、（２）ナビゲーション制御手段及び（３）状態制御手段である。「閾値調整制御手段」により、ユーザは、いずれかの方向（より高感度又はより低感度）に閾値を調整することが可能になる。「ナビゲーション制御手段」により、ユーザは、特定の候補赤目領域にナビゲートして、それを選択する（焦点を合わせる）ことが可能になる。「状態制御手段」により、ユーザは、特定の選択された候補赤目領域を不適格とすることが可能になり、これにより不適格とされた候補赤目領域は、赤目補正ロジック１５０によって実行される後続の赤目補正に含まれないようになる。ユーザからのこうした入力は、この詳細な説明では、「拒絶入力」と呼ばれる場合がある。実施形態によっては、状態制御手段を使用して、先に不適格とされた候補赤目領域を再度適格とすることもできる（例えば、ユーザは、可視的にマーキングされた候補赤目領域を不適格とした後に考えが変わる）。ユーザからのこうした入力は、この詳細な説明において「容認入力」と呼ばれる場合がある。   Of the various input control means 120, three types of functional input control means are particularly useful in the context of the present invention. That is, (1) threshold adjustment control means, (2) navigation control means, and (3) state control means. The “threshold adjustment control means” allows the user to adjust the threshold value in either direction (higher sensitivity or lower sensitivity). The “navigation control means” allows the user to navigate to and select (focus on) a particular candidate red-eye area. The “state control means” allows the user to disqualify a particular selected candidate red-eye region, and the candidate red-eye region that is disqualified thereby is subsequently executed by the red-eye correction logic 150. Is no longer included in red-eye correction. Such input from the user may be referred to as “rejection input” in this detailed description. In some embodiments, state control means may be used to requalify previously ineligible candidate red-eye regions (eg, a user may qualify a visually marked candidate red-eye region as ineligible. Then change your mind). Such input from the user may be referred to as “accepted input” in this detailed description.

上述した機能入力制御手段の３つのすべては、上述した例示的な例を含む任意の適切なユーザインタフェース技術を使用して実現され得る。例えば、一実施形態では、垂直方向制御手段１６５を使用して閾値調整制御手段が実現され得る。「上方」矢印を押下することにより、例えば、より多くの候補赤目領域が可視的にマーキングされるようにしてもよく、「下方」矢印を押下することにより、より少ない候補赤目領域がマーキングされるようにしてもよく、又はその逆でもよい。さらなる例を引用するために、状態制御手段は、水平方向制御手段１６０を使用して実現され得る。「左」矢印を押下することにより、例えば、特定の選択された候補赤目領域を不適格としてもよく、「右」矢印を押下することにより、不適格を取り消して、その候補赤目領域を再度適格としてもよく、又はその逆であってもよい。また、ナビゲーション制御手段は、対向する方向制御手段（１６０及び１６５）のうちのいくつか又はすべてを使用して実現されることもできる。しかしながら、上述した機能制御手段のすべては、タッチスクリーン及びスタイラス、マウス、トラックボール又は他のユーザインタフェース技術を使用して実現されることもできる。例えば、タッチスクリーンの場合、ユーザが、１つ又は複数の仮想制御要素に触れることにより閾値を調整することができ、スタイラスのタッチを使用して、個々の候補赤目領域にナビゲートし、又は直接それらを不適格／再度適格とすることができる。これは、マウス又は他のポインティングデバイスにも当てはまる。   All three of the functional input control means described above can be implemented using any suitable user interface technology including the illustrative examples described above. For example, in one embodiment, the threshold adjustment control means may be realized using the vertical direction control means 165. By pressing the “Up” arrow, for example, more candidate red-eye regions may be visibly marked, and by pressing the “Down” arrow, fewer candidate red-eye regions are marked. It may be possible to do so, or vice versa. To cite further examples, the state control means may be implemented using the horizontal control means 160. By pressing the “left” arrow, for example, a particular selected candidate red-eye region may be disqualified, and by pressing the “right” arrow, the disqualification is canceled and the candidate red-eye region is requalified. Or vice versa. The navigation control means can also be implemented using some or all of the opposing direction control means (160 and 165). However, all of the function control means described above can also be implemented using a touch screen and stylus, mouse, trackball or other user interface technology. For example, in the case of a touch screen, the user can adjust the threshold by touching one or more virtual control elements, using a stylus touch to navigate to individual candidate red-eye areas, or directly They can be disqualified / requalified. This is also true for mice or other pointing devices.

ここで、各実施形態に対する一連の例示及び方法のフローチャートを使用して、本発明の３つの特定の例示的な実施形態について引き続いて説明する。   Three specific example embodiments of the present invention will now be described using a series of examples and method flowcharts for each embodiment.

図２Ａ〜図２Ｃは、本発明の例示的な一実施形態に従って、一連の赤目補正操作が施される際のディスプレイ１１５上の簡略化したデジタル画像２０５の図である。図２Ａでは、赤目分析ロジック１４０は、合計７個の候補赤目領域２１０を特定しており、それらは、図２Ａにおいて便宜上、信頼度の高い順に「Ａ」〜「Ｇ」の文字を使用して個々に識別されている（即ち、「Ａ」は性能指数が最も高い候補赤目領域２１０であり、「Ｇ」は性能指数が最も低い候補赤目領域である）。（図面が混乱しないように、１つの候補赤目領域２１０（「Ａ」）に対して１つの参照符号を付した。）図２Ａにおいて、候補赤目領域２１０「Ａ」〜「Ｅ」は、性能指数が閾値の所定の初期値を超えている。従って、赤目補正ユーザインタフェースロジック１４５は、それらの候補赤目領域２１０のみを可視的にマーキングした。   2A-2C are diagrams of a simplified digital image 205 on display 115 as a series of red-eye correction operations are performed, according to an illustrative embodiment of the invention. In FIG. 2A, the red-eye analysis logic 140 has identified a total of seven candidate red-eye regions 210, which for convenience are shown in FIG. 2A using the letters “A” to “G” in descending order of reliability. Individually identified (ie, “A” is the candidate red-eye region 210 with the highest figure of merit and “G” is the candidate red-eye region with the lowest figure of merit). (In order not to confuse the drawing, one candidate red-eye region 210 (“A”) is given one reference number.) In FIG. 2A, candidate red-eye regions 210 “A” to “E” are performance indexes. Exceeds a predetermined initial value of the threshold. Accordingly, the red-eye correction user interface logic 145 has visually marked only those candidate red-eye regions 210.

図２Ｂにおいて、ユーザは、閾値調整制御手段を使用して、より多くの候補赤目領域２１０を含むようにした。ここでは、候補赤目領域２１０「Ｆ」が可視的にマーキングされていることに留意されたい。同じ意味で閾値調整制御手段をさらに調整することにより、「Ｇ」が同様に可視的にマーキングされる。   In FIG. 2B, the user uses the threshold adjustment control means so as to include more candidate red-eye regions 210. Note that the candidate red-eye region 210 “F” is visibly marked here. By further adjusting the threshold adjustment control means in the same sense, “G” is similarly visually marked.

図２Ｃにおいて、ユーザは、閾値調整制御手段を使用して、より少ない候補赤目領域２１０を含むようにした。図２Ａに対して、適当な意味で閾値調整制御手段を一度作動させることにより、誤検出の候補赤目領域２１０「Ｅ」の可視的マーキングが消滅し、有効な候補赤目領域２１０「Ａ」〜「Ｄ」のみが残る。この時点で、ユーザは、赤目補正ロジック１５０に対して可視的にマーキングされた候補赤目領域２１０（「Ａ」〜「Ｄ」）の各々において赤目補正を実行させる入力を（例えばメニュー／「ｏｋ」ボタン１７０を押下するか、又はスタイラスで適当な制御要素に触れることにより）発行することができる。   In FIG. 2C, the user uses threshold adjustment control means to include fewer candidate red-eye regions 210. With respect to FIG. 2A, by operating the threshold adjustment control means once in an appropriate sense, the visible marking of the erroneously detected candidate red-eye region 210 “E” disappears, and valid candidate red-eye regions 210 “A” to “ Only “D” remains. At this point, the user may provide an input (eg, menu / “ok”) to perform red-eye correction in each of the candidate red-eye regions 210 (“A”-“D”) that are visually marked to the red-eye correction logic 150. Can be issued (by pressing button 170 or touching the appropriate control element with a stylus).

図２Ａ〜図２Ｃの例では、誤検出（「Ｅ」〜「Ｇ」）のすべての性能指数が、有効な候補赤目領域２１０（「Ａ」〜「Ｄ」）のすべてより低い。これは理想的な状況であるが、実際にはそれが常に起こるとは限らない。状況によっては、誤検出の少なくとも１つの性能指数が、本物の「赤目」のうちの少なくとも１つより高い場合もある。こうした場合、ユーザは、閾値を、誤検出の数を最小限にするが、それでもなお有効な「赤目」のすべてを補正する妥協的な設定に調整することができる。   In the example of FIGS. 2A-2C, all the figure of merit for false positives (“E”-“G”) are lower than all of the valid candidate red-eye regions 210 (“A”-“D”). This is an ideal situation, but in practice it does not always happen. In some circumstances, at least one figure of merit of false positives may be higher than at least one of genuine “red eyes”. In such cases, the user can adjust the threshold to a compromise setting that minimizes the number of false positives but still corrects all valid “red-eye”.

図３は、本発明の例示的な一実施形態に従って、デジタル画像における赤目効果を補正する方法のフローチャートである。図３は、図２Ａ〜図２Ｃに示された例に対応する。３０５において、赤目分析ロジック１４０は、デジタル画像２０５内の１つ又は複数の候補赤目領域２１０を特定することができる。３１０において、赤目分析ロジック１４０は、各候補赤目領域２１０に対して信頼度スコア（性能指数）を割り当てることができる。３１５において、赤目補正ユーザインタフェースロジック１４５は、信頼度スコアが初期（公称）閾値を超える候補赤目領域２１０を可視的にマーキングすることができる。ステップ３２０及び３２５において、ユーザは、閾値を調整することができ、赤目補正ユーザインタフェースロジック１４５は、上述したように、調整された閾値に従って、可視的にマーキングされた候補赤目領域２１０を更新することができる。ひとたびユーザが閾値の調整を終了すると、プロセスはステップ３３０に進むことができ、そこで、ユーザに対して、目下ディスプレイ１１５に表示されている可視的にマーキングされた候補赤目領域２１０に赤目補正を実行するオプションが提供される。３３５において、赤目補正ロジック１５０は、各可視的にマーキングされた候補赤目領域２１０に赤目補正を実行することができる。３４０において、プロセスは終了することができる。   FIG. 3 is a flowchart of a method for correcting red-eye effects in a digital image, according to an illustrative embodiment of the invention. FIG. 3 corresponds to the example shown in FIGS. 2A to 2C. At 305, the red eye analysis logic 140 can identify one or more candidate red eye regions 210 in the digital image 205. At 310, the red eye analysis logic 140 can assign a confidence score (performance index) to each candidate red eye region 210. At 315, the red eye correction user interface logic 145 can visually mark candidate red eye regions 210 whose confidence score exceeds an initial (nominal) threshold. In steps 320 and 325, the user can adjust the threshold, and the red eye correction user interface logic 145 updates the visually marked candidate red eye region 210 according to the adjusted threshold, as described above. Can do. Once the user finishes adjusting the threshold, the process can proceed to step 330 where the user performs red-eye correction on the visually marked candidate red-eye region 210 currently displayed on the display 115. An option is provided. At 335, the red eye correction logic 150 can perform red eye correction on each visually marked candidate red eye region 210. At 340, the process can end.

図４Ａ〜図４Ｃは、本発明の別の例示的な実施形態に従って、一連の赤目補正操作が施される際のディスプレイ１１５上の簡略化されたデジタル画像２０５の図である。図４Ａでは、赤目分析ロジック１４０は、合計７個の候補赤目領域２１０を特定しており、それらのうちの６個（「Ａ」〜「Ｆ」）の信頼度スコアが所定の初期閾値を越えている。従って、赤目補正ユーザインタフェースロジック１４５は、候補赤目領域２１０「Ａ」〜「Ｆ」を可視的にマーキングしている。図２Ａ〜図２Ｃにおけるように、アルファベット順の連続した文字「Ａ」〜「Ｇ」は、徐々に減っていく信頼度スコアに対応する。この特定の実施形態では、任意の可視的にマーキングされた候補赤目領域２１０がデフォルトとして自動的に選択される。この例示的な例では、選択された可視的にマーキングされた候補赤目領域２１０は「Ａ」であるが、他の任意の可視的にマーキングされた候補赤目領域２１０（例えば、信頼度が最も低い可視的にマーキングされた候補赤目領域２１０である「Ｆ」）であってもよい。必要に応じて、図４Ａに示されるように、選択された可視的にマーキングされた候補赤目領域２１０の下に三角形のアイコン（「下方」矢印）を配置することにより、ユーザに対して、スタイラスで「下方」矢印アイコンに触れるか、又は「下方」矢印１６５を押下することにより（拒絶入力）、選択された可視的にマーキングされた候補赤目領域２１０が不適格となるということを示してもよい。一般に、ユーザが目下選択されている可視的にマーキングされた候補赤目領域２１０を不適格とするか又は再度適格とすることを可能にする、上述したような状態制御手段を設けることができる。図４Ａによって提案される状態制御手段の具現化形態は一例にすぎない。   4A-4C are diagrams of a simplified digital image 205 on display 115 when a series of red-eye correction operations are performed, according to another exemplary embodiment of the present invention. In FIG. 4A, the red-eye analysis logic 140 has identified a total of seven candidate red-eye regions 210, of which six (“A” to “F”) confidence scores exceed a predetermined initial threshold. ing. Thus, the red-eye correction user interface logic 145 visually marks candidate red-eye regions 210 “A”-“F”. As in FIGS. 2A-2C, consecutive letters “A”-“G” in alphabetical order correspond to a gradual decrease in confidence score. In this particular embodiment, any visually marked candidate red-eye region 210 is automatically selected as the default. In this illustrative example, the selected visually marked candidate red-eye area 210 is “A”, but any other visually marked candidate red-eye area 210 (eg, least reliable) It may be “F”, which is a candidate red-eye region 210 visibly marked. Optionally, the stylus is presented to the user by placing a triangular icon ("down" arrow) below the selected visually marked candidate red-eye region 210, as shown in FIG. 4A. Touching the “down” arrow icon or pressing the “down” arrow 165 (rejection input) may indicate that the selected visually marked candidate red-eye region 210 is ineligible. Good. In general, state control means may be provided as described above that allow a user to qualify or requalify a visually marked candidate red-eye region 210 that is currently selected. The implementation of the state control means proposed by FIG. 4A is only an example.

図４Ｂにおいて、ユーザは、誤検出候補赤目領域２１０「Ｆ」を排除するように閾値を調整した。ユーザは１つの誤検出を排除することに成功したが、誤検出候補赤目領域２１０「Ｄ」は可視的にマーキングされたままであることに留意されたい。閾値を低感度の方向にさらに調整すると、有効な候補赤目領域２１０「Ｅ」を不適格とする望ましくない効果が生じる。従って、ユーザは、「Ｅ」に影響を与えることなく誤検出候補赤目領域２１０「Ｄ」を不適格とする手段を必要とする。これは、上述したように、ユーザに対してナビゲーション制御手段を提供することによって達成され得る。ひとたびユーザは、閾値を所望のレベルまで調整すると、その後、赤目補正ユーザインタフェースロジック１４５によって制御される独立したモードに入ることができ、そこでは、残りの可視的にマーキングされた候補赤目領域２１０間で自由にナビゲートすることができる。図４Ｂにおいて、ユーザは、こうしたナビゲーション制御手段を使用して、可視的にマーキングされた候補赤目領域２１０「Ｄ」にナビゲートしてそれを選択した。「Ｄ」が選択されると、ユーザは、状態制御手段を使用して「Ｄ」を不適格とすることができる。個々の可視的にマーキングされた候補赤目領域２１０間でのナビゲーションに関して、同様のユーザインタフェースのさらなる詳細は、ヒューレット・パッカード・カンパニーに譲渡され、係属中の特許文献２に記載され、その開示内容は参照により本明細書に組み込まれる。   In FIG. 4B, the user has adjusted the threshold to exclude the false detection candidate red-eye region 210 “F”. Note that although the user has successfully eliminated one false positive, the false positive candidate red-eye region 210 “D” remains visually marked. Further adjustment of the threshold in the direction of low sensitivity has the undesirable effect of disqualifying the valid candidate red-eye region 210 “E”. Therefore, the user needs a means of disqualifying the false detection candidate red-eye region 210 “D” without affecting “E”. This can be accomplished by providing navigation control means to the user as described above. Once the user has adjusted the threshold to the desired level, he can then enter an independent mode controlled by the redeye correction user interface logic 145, between the remaining visually marked candidate redeye regions 210. You can navigate freely. In FIG. 4B, the user has navigated to and selected the visually marked candidate red-eye region 210 “D” using such navigation control means. If “D” is selected, the user can disqualify “D” using the state control means. For navigation between individual visibly marked candidate red-eye areas 210, further details of similar user interfaces have been assigned to Hewlett-Packard Company and are described in pending US Pat. Which is incorporated herein by reference.

図４Ｃにおいて、ユーザは、可視的にマーキングされた候補赤目領域２１０「Ｄ」を不適格とした。図４Ｃは、赤目補正ユーザインタフェースロジック１４５が、可視的にマーキングされた候補赤目領域２１０「Ｄ」が不適格とされたことをいかにして視覚的に示すことができるかの一例を示す。図４Ｃにおいて、可視的にマーキングされた候補赤目領域２１０「Ｄ」には、「Ｘ」が入れられている。他の実施形態では、可視的にマーキングされた候補赤目領域２１０「Ｄ」を囲む境界ボックス又は他の幾何学図形は、何らかの他の態様で変更されてもよい（例えば、色又は形状を変更することができる）。必要に応じて、可視的にマーキングされた候補赤目領域２１０「Ｄ」の上に「上方」矢印アイコンを配置することにより、ユーザに対して、スタイラスで「上方」矢印アイコンに触れるか、又は「上方」矢印ボタン１６５を押下することにより（容認入力）、可視的にマーキングされた候補赤目領域２１０「Ｄ」が再度適格となることを示してもよい。やはり、これは、この文脈において上述したような状態制御手段を実現する、１つの可能性のある態様にすぎない。有効な候補赤目領域２１０のすべて（「Ａ」〜「Ｅ」）が可視的にマーキングされ、誤検出の可視的にマーキングされた候補赤目領域２１０「Ｄ」が図４Ｃに示されるように不適格となると、ユーザは続けて、不適格とされなかった各可視的にマーキングされた候補赤目領域において赤目補正を実行する赤目補正ロジック１５０を呼び出すコマンドを電子装置１００に対して発行することができる。   In FIG. 4C, the user disqualified the visually marked candidate red-eye region 210 “D”. FIG. 4C illustrates an example of how the red-eye correction user interface logic 145 can visually indicate that a visually marked candidate red-eye region 210 “D” has been disqualified. In FIG. 4C, “X” is entered in the candidate red-eye region 210 “D” that is visually marked. In other embodiments, the bounding box or other geometric shape surrounding the visually marked candidate red-eye region 210 “D” may be altered in some other manner (eg, changing color or shape). be able to). Optionally, the user can touch the “up” arrow icon with the stylus by placing an “up” arrow icon over the visually marked candidate red-eye area 210 “D” or “ Pressing the “up” arrow button 165 (acceptance input) may indicate that the visually marked candidate red-eye region 210 “D” is eligible again. Again, this is just one possible way of implementing the state control means as described above in this context. All valid candidate red-eye regions 210 ("A"-"E") are visually marked, and false positive visually-marked candidate red-eye regions 210 "D" are ineligible as shown in FIG. 4C. The user can then issue a command to the electronic device 100 that calls the red eye correction logic 150 to perform red eye correction on each visually marked candidate red eye region that was not ineligible.

図５は、本発明の別の例示的な実施形態に従って、デジタル画像において赤目効果を補正する方法のフローチャートである。図５は、図４Ａ〜図４Ｃに示された例に対応する。図３のステップ３０５、３１０、３１５、３２０及び３２５（閾値の調整を含むステップ）が実行された後、５０５において、赤目補正ユーザインタフェースロジック１４５は、ユーザのナビゲーション制御手段の作動に応じて、特定の可視的にマーキングされた候補赤目領域２１０にナビゲートして、それを選択することができる。５１０においてユーザから拒絶入力が受け取られると、５１５において、赤目補正ユーザインタフェースロジック１４５は、特定の可視的にマーキングされた候補赤目領域２１０を不適格とすることができる。５２０においてユーザが誤検出にナビゲートしそれらを不適格にすることを終了すると、５２５において、赤目補正ロジック１５０は、不適格とされなかった各可視的にマーキングされた候補赤目領域に対して赤目補正を実行することができる。５３０において、プロセスは終了することができる。   FIG. 5 is a flowchart of a method for correcting red-eye effects in a digital image in accordance with another exemplary embodiment of the present invention. FIG. 5 corresponds to the example shown in FIGS. 4A to 4C. After the steps 305, 310, 315, 320 and 325 (steps including threshold adjustment) of FIG. 3 have been performed, at 505, the red-eye correction user interface logic 145 is identified according to the operation of the user's navigation control means. Can be navigated to and selected from the visually marked candidate red-eye region 210. If a rejection input is received from the user at 510, then at 515, the red eye correction user interface logic 145 may disqualify certain visually marked candidate red eye regions 210. When the user finishes navigating to false positives and disqualifying them at 520, at 525, the red eye correction logic 150 performs red eye for each visually marked candidate red eye region that was not disqualified. Correction can be performed. At 530, the process can end.

明瞭にするために図５には示さないが、ステップ５１０に類似するステップにおいて、ユーザは、以前に不適格とされた可視的にマーキングされた候補赤目領域２１０を５２５における後続の赤目補正に対して再度適格とする容認入力を発行してもよい（即ち、所与の可視的にマーキングされた候補赤目領域２１０が選択される時はいつでも、ユーザは、適切な状態制御手段を使用して、その可視的にマーキングされた候補赤目領域２１０の赤目補正状態を切り替えることができる）。   Although not shown in FIG. 5 for the sake of clarity, in a step similar to step 510, the user may select a previously marked visually marked candidate red-eye region 210 for subsequent red-eye correction at 525. Re-qualify acceptance input (i.e., whenever a given visually marked candidate red-eye region 210 is selected, the user may use appropriate state control means to The red-eye correction state of the visually marked candidate red-eye region 210 can be switched).

図６Ａ〜図６Ｄは、本発明のさらに別の例示的な実施形態に従って、可視的にマーキングされた候補赤目領域２１０の不適格化／再適格化をナビゲーションに結合する効率的なユーザインタフェースを示す。図２Ａ〜図２Ｃに示されるように、連続した文字「Ａ」〜「Ｇ」は、アルファベット順に徐々に減っていく信頼度スコアに対応する。図６Ａにおいて、やはり、可視的にマーキングされた候補赤目領域２１０のうちの１つ（「Ｃ」）が、有効な候補赤目領域２１０のうちの２つ（「Ｄ」及び「Ｅ」）より高い性能指数を有するという問題が発生する（図４Ａ〜図４Ｃを参照）。この特定の実施形態では、赤目補正ユーザインタフェースロジック１４５は、信頼性能指数が最も低い可視的にマーキングされた候補赤目領域２１０（「最低信頼度の候補赤目領域」６０５）と他の可視的にマーキングされた候補赤目領域２１０とを可視的に区別することができる。同時に、赤目補正ユーザインタフェースロジック１４５はまた、拒絶入力又は容認入力それぞれに応じて任意の不適格化又は再適格化に対して最低信頼度の候補赤目領域６０５を選択してもよい。「可視的に区別される」とは、例えば、最低信頼度の候補赤目領域６０５の囲んでいる幾何学図形が点滅するか、又は他の可視的にマーキングされた候補赤目領域２１０とは異なる色からなることを意味することができる。一般に、最低信頼度の候補赤目領域６０５と他のすべての可視的にマーキングされた候補赤目領域２１０とを可視的に区別する任意の技術を使用することができる。図６Ａ〜図６Ｄの例では、赤目補正ユーザインタフェースロジック１４５は、最低信頼度の候補赤目領域６０５を包囲する境界ボックスを点滅させる。ユーザが閾値調整制御手段を使用して閾値を調整すると、それに従って、赤目補正ユーザインタフェースロジック１４５は、最低信頼度の候補赤目領域６０５を更新して、可視的に区別する。図６Ａにおいて、最低信頼度の候補赤目領域６０５は、「Ｄ」が付された可視的にマーキングされた候補赤目領域２１０である。図６Ｂ〜図６Ｄは、わずかな入力コマンドを使用して、如何にして誤検出を不適格とすることができ、４つの有効な「赤目」（候補赤目領域２１０「Ａ」、「Ｂ」、「Ｄ」及び「Ｅ」）を補正することができるかを示す。   6A-6D illustrate an efficient user interface that couples disqualification / requalification of visually marked candidate red-eye regions 210 to navigation in accordance with yet another exemplary embodiment of the present invention. . As shown in FIGS. 2A to 2C, consecutive letters “A” to “G” correspond to reliability scores that gradually decrease in alphabetical order. In FIG. 6A, again, one of the visually marked candidate red-eye regions 210 (“C”) is higher than two of the valid candidate red-eye regions 210 (“D” and “E”). The problem of having a figure of merit occurs (see FIGS. 4A-4C). In this particular embodiment, the red-eye correction user interface logic 145 includes a visually marked candidate red-eye region 210 ("lowest confidence candidate red-eye region" 605) with the lowest confidence figure of merit and other visually markings. The candidate red-eye region 210 thus made can be visually distinguished. At the same time, the red eye correction user interface logic 145 may also select the least reliable candidate red eye region 605 for any disqualification or requalification depending on the rejection or acceptance input, respectively. “Visibly distinguished” means, for example, that the geometric shape surrounding the candidate red-eye region 605 with the lowest reliability blinks or a color different from other visually marked candidate red-eye regions 210. Can be made up of In general, any technique that visually distinguishes the least reliable candidate red-eye region 605 from all other visually marked candidate red-eye regions 210 may be used. In the example of FIGS. 6A-6D, the redeye correction user interface logic 145 blinks the bounding box that surrounds the candidate redeye region 605 with the lowest confidence. As the user adjusts the threshold using the threshold adjustment control means, the red-eye correction user interface logic 145 updates and visually distinguishes the least reliable candidate red-eye region 605 accordingly. In FIG. 6A, the candidate red-eye region 605 with the lowest reliability is a visually marked candidate red-eye region 210 with “D” attached. FIGS. 6B-6D show how a few input commands can be used to disqualify false positives, and four valid “red eyes” (candidate red eye regions 210 “A”, “B”, "D" and "E") indicate whether correction is possible.

図６Ｂにおいて、ユーザは、候補赤目領域２１０「Ｄ」を排除するように閾値を調整した。この動作により、現在の最低信頼度の候補赤目領域６０５は「Ｃ」になる（図６Ｂにおいて点滅しているように示される）。   In FIG. 6B, the user has adjusted the threshold to exclude candidate red-eye region 210 “D”. This action causes the current candidate redeye region 605 with the lowest reliability to be “C” (shown as blinking in FIG. 6B).

図６Ｃにおいて、ユーザは、状態制御手段を使用して、最低信頼度の候補赤目領域６０５「Ｃ」を（図６Ｃにおいて「Ｘ」を付けて）不適格とした。   In FIG. 6C, the user has disqualified the least reliable candidate red-eye region 605 “C” (with an “X” in FIG. 6C) using the state control means.

図６Ｄにおいて、ユーザは、候補赤目領域２１０「Ｄ」及び「Ｅ」を含めるように、閾値を感度が高くなる方向に２つ分増分するように調整した。この時、「Ｅ」が最低信頼度の候補赤目領域６０５となった。この時点で、ユーザは引き続き、赤目補正ロジック１５０を呼び出すコマンドを電子装置１００に発行することができる。赤目補正ロジック１５０は、不適格とされなかった各可視的にマーキングされた候補赤目領域２１０において赤目補正を実行する。   In FIG. 6D, the user has adjusted the threshold to increment by two in the direction of increasing sensitivity to include candidate red-eye regions 210 “D” and “E”. At this time, “E” became the candidate red-eye region 605 with the lowest reliability. At this point, the user can continue to issue a command to the electronic device 100 that calls the red-eye correction logic 150. Red eye correction logic 150 performs red eye correction on each visually marked candidate red eye region 210 that was not disqualified.

図７Ａ及び図７Ｂは、本発明のさらに別の例示的な実施形態に従って、デジタル画像において赤目効果を補正する方法のフローチャートである。図７Ａ及び図７Ｂは、図６Ａ〜図６Ｄに示された例に対応する。図３のステップ３０５、３１０及び３１５が実行された後、７０５において、赤目補正ユーザインタフェースロジック１４５は、上述したように、最低信頼度の候補赤目領域６０５と他の可視的にマーキングされた候補赤目領域２１０とを可視的に区別することができる。７１０においてユーザから拒絶入力が受け取られると、７１５において、赤目補正ユーザインタフェースロジック１４５は、後続の赤目補正に対して最低信頼度の候補赤目領域６０５を不適格とすることができる。７２０において、ユーザは、赤目補正を実行する準備が整うと、赤目補正ロジック１５０を呼び出す適切なコマンドを電子装置１００に入力することができ、赤目補正ロジック１５０は、不適格とされなかった各可視的にマーキングされた候補赤目領域２１０において赤目補正を実行する。７２５における赤目補正の後で、プロセスは７３０で終了することができる。しかしながら、７２０においてユーザが赤目補正を開始しない場合、プロセスはステップ７３５に進む。そのステップ７３５では、ユーザは、プロセスがステップ７０５に戻る前にさらなる閾値調整を行うオプションを有する。   7A and 7B are flowcharts of a method for correcting red-eye effects in a digital image, according to yet another exemplary embodiment of the present invention. 7A and 7B correspond to the example shown in FIGS. 6A to 6D. After the steps 305, 310, and 315 of FIG. 3 have been performed, at 705, the red eye correction user interface logic 145, as described above, displays the least reliable candidate red eye region 605 and other visually marked candidate red eyes. The region 210 can be visually distinguished. If a rejection input is received from the user at 710, the red eye correction user interface logic 145 may qualify the least reliable candidate red eye region 605 for subsequent red eye correction at 715. At 720, when the user is ready to perform red-eye correction, the user can enter an appropriate command into the electronic device 100 that invokes the red-eye correction logic 150, and the red-eye correction logic 150 may enter each visible visual that has not been disqualified. The red-eye correction is performed on the candidate red-eye region 210 that is marked automatically. After red eye correction at 725, the process can end at 730. However, if the user does not start red eye correction at 720, the process proceeds to step 735. At step 735, the user has the option to make further threshold adjustments before the process returns to step 705.

明瞭にするために図７Ａには示さないが、ステップ７１０に類似するステップにおいて、ユーザは、以前に不適格とされた可視的にマーキングされた候補赤目領域２１０を７２５における後続の赤目補正に対し再度適格とする容認入力を発行してもよい（即ち、赤目補正ユーザインタフェースロジック１４５は、ユーザからの拒絶入力又は容認入力に応じて、最低信頼度の候補赤目領域６０５の赤目補正状態を切り替えてもよい）。   Although not shown in FIG. 7A for the sake of clarity, in a step similar to step 710, the user can identify previously marked ineligible visually marked candidate red-eye regions 210 for subsequent red-eye correction at 725. The acceptance input may be issued again (ie, the red-eye correction user interface logic 145 switches the red-eye correction state of the candidate red-eye region 605 with the lowest reliability in response to a rejection input or an acceptance input from the user. Also good).

本発明の上述した説明は、例示及び説明の目的で提示された。それは、網羅的であるように、又は本発明を開示された厳密な形態に限定するように意図されておらず、上記教示に鑑みて他の修正形態及び変形形態も可能である。本発明の原理とその実際的な用途とを最もよく説明することにより、当業者が、企図された特定の使用に適するように、本発明を種々の実施形態及び種々の修正形態で最もよく利用することを可能にするために、実施形態が選択され説明された。添付の特許請求の範囲は、従来技術によって限定されることを除き、本発明の他の代替の実施形態を含むように解釈されるように意図されている。   The foregoing description of the present invention has been presented for purposes of illustration and description. It is not intended to be exhaustive or to limit the invention to the precise form disclosed, and other modifications and variations are possible in light of the above teaching. By best describing the principles of the invention and its practical application, those skilled in the art will best utilize the invention in various embodiments and various modifications to suit the particular use contemplated. In order to be able to do so, embodiments have been selected and described. It is intended that the appended claims be construed to include other alternative embodiments of the invention except insofar as limited by the prior art.

本発明を要約すると、以下の通りである。即ち、デジタル画像に対して自動赤目補正を実行する電子装置は、ユーザ調整可能な閾値を含み、これによりユーザがデジタル画像のマーキングされた候補赤目位置を視認しながら、自動赤目補正アルゴリズムの感度を動的に調整することが可能になる。係る閾値の動的な調整により、ユーザの必要な入力ジェスチャーの数を低減しながら、誤検出の拒絶が容易になる。   The present invention is summarized as follows. That is, an electronic device that performs automatic red-eye correction on a digital image includes a user-adjustable threshold, which allows the user to visually recognize the candidate red-eye position marked on the digital image while increasing the sensitivity of the automatic red-eye correction algorithm. It becomes possible to adjust dynamically. Such dynamic adjustment of the threshold facilitates rejection of false detection while reducing the number of input gestures required by the user.

本発明の例示的な一実施形態による電子装置の機能ブロック図である。1 is a functional block diagram of an electronic device according to an exemplary embodiment of the present invention. 本発明の例示的な一実施形態による図１Ａに示された電子装置のメモリの高レベル図である。1B is a high-level diagram of a memory of the electronic device shown in FIG. 1A according to an exemplary embodiment of the invention. FIG. 本発明の例示的な一実施形態による図１Ａに示された電子装置のディスプレイ及び入力制御手段の図である。1B is a diagram of the display and input control means of the electronic device shown in FIG. 1A according to an exemplary embodiment of the present invention. FIG. 本発明の例示的な一実施形態に従って、一連の赤目補正操作が施される際のディスプレイ１１５における簡略化されたデジタル画像２０５の図である。FIG. 6 is a simplified digital image 205 on display 115 when a series of red-eye correction operations are performed, according to an illustrative embodiment of the invention. 本発明の例示的な一実施形態に従って、一連の赤目補正操作が施される際のディスプレイ１１５における簡略化されたデジタル画像２０５の図である。FIG. 6 is a simplified digital image 205 on display 115 when a series of red-eye correction operations are performed, according to an illustrative embodiment of the invention. 本発明の例示的な一実施形態に従って、一連の赤目補正操作が施される際のディスプレイ１１５における簡略化されたデジタル画像２０５の図である。FIG. 6 is a simplified digital image 205 on display 115 when a series of red-eye correction operations are performed, according to an illustrative embodiment of the invention. 本発明の例示的な一実施形態に従って、デジタル画像において赤目効果を補正する方法のフローチャートである。4 is a flowchart of a method for correcting red-eye effects in a digital image, according to an illustrative embodiment of the invention. 本発明の別の例示的な実施形態に従って、一連の赤目補正操作が施される際のディスプレイ１１５における簡略化されたデジタル画像２０５の図である。FIG. 6 is a simplified digital image 205 on display 115 when a series of red-eye correction operations are performed, in accordance with another exemplary embodiment of the present invention. 本発明の別の例示的な実施形態に従って、一連の赤目補正操作が施される際のディスプレイ１１５における簡略化されたデジタル画像２０５の図である。FIG. 6 is a simplified digital image 205 on display 115 when a series of red-eye correction operations are performed, in accordance with another exemplary embodiment of the present invention. 本発明の別の例示的な実施形態に従って、一連の赤目補正操作が施される際のディスプレイ１１５における簡略化されたデジタル画像２０５の図である。FIG. 6 is a simplified digital image 205 on display 115 when a series of red-eye correction operations are performed, in accordance with another exemplary embodiment of the present invention. 本発明の別の例示的な実施形態に従って、デジタル画像において赤目効果を補正する方法のフローチャートである。4 is a flowchart of a method for correcting red-eye effects in a digital image, according to another exemplary embodiment of the present invention. 本発明のさらに別の例示的な実施形態に従って、一連の赤目補正操作が施される際のディスプレイ１１５における簡略化されたデジタル画像２０５の図である。FIG. 8 is a simplified digital image 205 on display 115 as a series of red-eye correction operations are performed, in accordance with yet another exemplary embodiment of the present invention. 本発明のさらに別の例示的な実施形態に従って、一連の赤目補正操作が施される際のディスプレイ１１５における簡略化されたデジタル画像２０５の図である。FIG. 8 is a simplified digital image 205 on display 115 as a series of red-eye correction operations are performed, in accordance with yet another exemplary embodiment of the present invention. 本発明のさらに別の例示的な実施形態にに従って、一連の赤目補正操作が施される際のディスプレイ１１５における簡略化されたデジタル画像２０５の図である。FIG. 6 is a simplified digital image 205 on display 115 as a series of red-eye correction operations are performed, in accordance with yet another exemplary embodiment of the present invention. 本発明のさらに別の例示的な実施形態に従って、一連の赤目補正操作が施される際のディスプレイ１１５における簡略化されたデジタル画像２０５の図である。FIG. 8 is a simplified digital image 205 on display 115 as a series of red-eye correction operations are performed, in accordance with yet another exemplary embodiment of the present invention. 本発明のさらに別の例示的な実施形態に従って、デジタル画像において赤目効果を補正する方法のフローチャートである。4 is a flowchart of a method for correcting red-eye effects in a digital image, according to yet another exemplary embodiment of the present invention. 本発明のさらに別の例示的な実施形態に従って、デジタル画像において赤目効果を補正する方法のフローチャートである。4 is a flowchart of a method for correcting red-eye effects in a digital image, according to yet another exemplary embodiment of the present invention.

符号の説明Explanation of symbols

100 電子装置
115 ディスプレイ
125 メモリ
140 赤目分析ロジック
145 赤目補正ユーザインタフェースロジック
205 デジタル画像
210 候補赤目領域
100 electronic equipment
115 display
125 memory
140 Red-eye analysis logic
145 Red Eye Correction User Interface Logic
205 digital images
210 Candidate red-eye area

Claims (6)

デジタル画像（205）において赤目効果を補正するための方法であって、
前記デジタル画像（205）内の少なくとも１つの候補赤目領域（210）を自動的に特定し、
各候補赤目領域（210）に性能指数を割り当て、
前記性能指数が所定の初期値を有する閾値を超える候補赤目領域（210）をユーザに対して可視的にマーキングし、
前記ユーザからの入力に応じて前記閾値を動的に調整し、
前記閾値が動的に調整される際に、前記閾値に従っていずれかの候補赤目領域（210）が可視的にマーキングされるかを更新することを含む、デジタル画像において赤目効果を補正するための方法。 A method for correcting red-eye effects in a digital image (205), comprising:
Automatically identifying at least one candidate red-eye region (210) in the digital image (205);
Assign a figure of merit to each candidate red-eye area (210)
Visibly marking a candidate red-eye region (210) for which the figure of merit exceeds a threshold having a predetermined initial value to a user;
Dynamically adjusting the threshold in response to input from the user;
A method for correcting a red-eye effect in a digital image, comprising updating whether any candidate red-eye region (210) is visually marked according to the threshold as the threshold is dynamically adjusted . 最低信頼度の候補赤目領域（605）を他の可視的にマーキングされた候補赤目領域から選択して可視的に区別し、前記最低信頼度の候補赤目領域（605）が、前記可視的にマーキングされた候補赤目領域（210）の中で最も低い性能指数を有し、
前記ユーザからの拒絶入力に応じて前記最低信頼度の候補赤目領域（605）を前記候補赤目領域（210）として不適格とすることをさらに含む、請求項１に記載の方法。 The least reliable candidate red-eye area (605) is selected and visually distinguished from other visually marked candidate red-eye areas, and the least reliable candidate red-eye area (605) is visually marked. Has the lowest figure of merit among the candidate red-eye regions (210)
The method of claim 1, further comprising disqualifying the least reliable candidate red-eye region (605) as the candidate red-eye region (210) in response to a rejection input from the user. 前記ユーザからの容認入力に応じて前記最低信頼度の候補赤目領域（605）を前記候補赤目領域（210）として再度適格とすることをさらに含む、請求項２に記載の方法。   The method of claim 2, further comprising requalifying the lowest-redundant candidate red-eye region (605) as the candidate red-eye region (210) in response to an acceptance input from the user. デジタル画像（205）を格納するメモリ（125）と、
前記デジタル画像（205）を表示するディスプレイ（115）と、
前記デジタル画像（205）内の少なくとも１つの候補赤目領域（210）を自動的に特定し、各候補赤目領域（210）に性能指数を割り当てるように構成されている、赤目分析ロジック（140）と、
前記性能指数が所定の初期値を有する閾値を超える候補赤目領域（210）を、ユーザが前記ディスプレイ（115）上で可視的にマーキングするように構成された赤目補正ユーザインタフェースロジック（145）と、
前記ユーザが前記閾値を調整することができる閾値調整制御手段とを含む、電子装置（100）。 A memory (125) for storing digital images (205);
A display (115) for displaying the digital image (205);
A red eye analysis logic (140), configured to automatically identify at least one candidate red eye region (210) in the digital image (205) and assign a figure of merit to each candidate red eye region (210); ,
Red-eye correction user interface logic (145) configured to allow a user to visually mark candidate red-eye regions (210) on which the figure of merit exceeds a threshold having a predetermined initial value on the display (115);
An electronic device (100) comprising: threshold adjustment control means by which the user can adjust the threshold. 特定の可視的にマーキングされた候補赤目領域（210）にナビゲートして、それを選択するためのナビゲーション制御手段と、
前記ユーザが拒絶及び容認のいずれか一方を示すことができる状態制御手段とをさらに含み、
前記赤目補正ユーザインタフェースロジック（145）は、
前記ユーザが前記状態制御手段を使用して拒絶を示す場合、前記特定の可視的にマーキングされた候補赤目領域（210）を前記候補赤目領域（210）として不適格とし、
前記ユーザが前記特定の可視的にマーキングされた候補赤目領域（210）を不適格とした後に、前記状態制御手段を使用して容認を示す場合、前記特定の可視的にマーキングされた候補赤目領域（210）を候補赤目領域として再度適格とするようにさらに構成されている、請求項４に記載の電子装置（100）。 Navigation control means for navigating to and selecting a specific visually marked candidate red-eye region (210);
State control means for allowing the user to indicate either rejection or acceptance; and
The red-eye correction user interface logic (145)
If the user indicates rejection using the state control means, the particular visually marked candidate red-eye region (210) is disqualified as the candidate red-eye region (210);
If the user qualifies the specific visually marked candidate red eye region (210) and then indicates acceptance using the state control means, the specific visually marked candidate red eye region The electronic device (100) of claim 4, further configured to requalify (210) as a candidate red-eye region. 前記電子装置（100）が、デスクトップコンピュータ、ノートブックコンピュータ、ＰＤＡ、デジタルカメラ、及び無線電話のうちの１つである、請求項４に記載の電子装置。
The electronic device of claim 4, wherein the electronic device (100) is one of a desktop computer, a notebook computer, a PDA, a digital camera, and a wireless telephone.
JP2006159507A 2005-06-08 2006-06-08 Red-eye correction method and apparatus using user-adjustable threshold Expired - Fee Related JP4275151B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/148,680 US20060280375A1 (en) 2005-06-08 2005-06-08 Red-eye correction method and apparatus with user-adjustable threshold

Publications (2)

Publication Number Publication Date
JP2006345529A true JP2006345529A (en) 2006-12-21
JP4275151B2 JP4275151B2 (en) 2009-06-10

Family

ID=37524154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006159507A Expired - Fee Related JP4275151B2 (en) 2005-06-08 2006-06-08 Red-eye correction method and apparatus using user-adjustable threshold

Country Status (2)

Country Link
US (1) US20060280375A1 (en)
JP (1) JP4275151B2 (en)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US7738015B2 (en) * 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US8170294B2 (en) 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US7920723B2 (en) 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7689009B2 (en) 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US7599577B2 (en) 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
IES20060564A2 (en) * 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
JP4845715B2 (en) * 2006-12-22 2011-12-28 キヤノン株式会社 Image processing method, image processing apparatus, program, and storage medium
KR101159830B1 (en) * 2007-03-05 2012-06-26 디지털옵틱스 코포레이션 유럽 리미티드 Red eye false positive filtering using face location and orientation
US8331721B2 (en) * 2007-06-20 2012-12-11 Microsoft Corporation Automatic image correction providing multiple user-selectable options
US8503818B2 (en) * 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
TWI401963B (en) * 2009-06-25 2013-07-11 Pixart Imaging Inc Dynamic image compression method for face detection
CN102695558B (en) 2009-12-02 2014-04-16 松下神视株式会社 UV-irradiation apparatus
CN108124268B (en) * 2016-11-30 2021-08-06 ***通信有限公司研究院 Parameter accuracy identification method and network equipment

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7035462B2 (en) * 2002-08-29 2006-04-25 Eastman Kodak Company Apparatus and method for processing digital images having eye color defects
US20040114829A1 (en) * 2002-10-10 2004-06-17 Intelligent System Solutions Corp. Method and system for detecting and correcting defects in a digital image

Also Published As

Publication number Publication date
JP4275151B2 (en) 2009-06-10
US20060280375A1 (en) 2006-12-14

Similar Documents

Publication Publication Date Title
JP4275151B2 (en) Red-eye correction method and apparatus using user-adjustable threshold
US9965039B2 (en) Device and method for displaying user interface of virtual input device based on motion recognition
US9946338B2 (en) Information processing to vary screen display based on a gaze point of the user
US20150022468A1 (en) Method for processing input and electronic device thereof
CN104932809B (en) Apparatus and method for controlling display panel
KR20150090840A (en) Device and mathod for shielding region of display screen of device
US20170038838A1 (en) Information processing system and information processing method
KR102254794B1 (en) Touch panel input device, touch gesture determination device, touch gesture determination method, and touch gesture determination program
US20210117048A1 (en) Adaptive assistive technology techniques for computing devices
US11915671B2 (en) Eye gaze control of magnification user interface
US10114501B2 (en) Wearable electronic device using a touch input and a hovering input and controlling method thereof
US20150268828A1 (en) Information processing device and computer program
JP5783385B2 (en) Data processing apparatus and program
KR20160035865A (en) Apparatus and method for identifying an object
US20160026244A1 (en) Gui device
JP2011243108A (en) Electronic book device and electronic book operation method
JP5628991B2 (en) Display device, display method, and display program
US9930287B2 (en) Virtual noticeboard user interaction
JP6206580B2 (en) Terminal device, display control method, and program
CN104156038A (en) Electronic reading device
US11042293B2 (en) Display method and electronic device
US10949078B2 (en) Display apparatus, display method, and non-transitory computer-readable recording medium
US10416884B2 (en) Electronic device, method, and program product for software keyboard adaptation
US20150286399A1 (en) Information processing apparatus, control method, and storage medium
US11416140B2 (en) Touchscreen devices to transmit input selectively

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081015

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090210

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090303

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120313

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120313

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130313

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140313

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees