JP2015232746A - 皺検出装置および皺検出方法 - Google Patents

皺検出装置および皺検出方法 Download PDF

Info

Publication number
JP2015232746A
JP2015232746A JP2014118506A JP2014118506A JP2015232746A JP 2015232746 A JP2015232746 A JP 2015232746A JP 2014118506 A JP2014118506 A JP 2014118506A JP 2014118506 A JP2014118506 A JP 2014118506A JP 2015232746 A JP2015232746 A JP 2015232746A
Authority
JP
Japan
Prior art keywords
image
region
threshold
edge
wrinkle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014118506A
Other languages
English (en)
Inventor
智史 山梨
Tomohito Yamanashi
智史 山梨
秀和 荒木
Hidekazu Araki
秀和 荒木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014118506A priority Critical patent/JP2015232746A/ja
Priority to EP15166536.1A priority patent/EP2955693B1/en
Priority to CN201510245897.9A priority patent/CN105310690A/zh
Priority to US14/726,631 priority patent/US9782119B2/en
Publication of JP2015232746A publication Critical patent/JP2015232746A/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Dermatology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】より低い処理負荷で高精度な皺検出を行うことができる皺検出装置を提供すること。
【解決手段】皺検出装置100は、画像に含まれる肌の皺領域を検出する装置であって、画像の各部分について、画像における画素値の変化の度合いを示す勾配値を第1の閾値と比較する第1の閾値処理を行うことにより、画像に含まれるエッジ領域を検出する第1の閾値処理部221と、画像の各部分について、勾配値を第2の閾値と比較する第2の閾値処理を行うことにより、画像に含まれるエッジ領域を検出する第2の閾値処理部222と、第1の閾値処理により検出された第1のエッジ領域と、第2の閾値処理により検出された第2のエッジ領域と、が重複する重複領域に基づいて皺領域を判定するエッジ選択処理部223と、を有する。
【選択図】図1

Description

本発明は、画像に含まれる肌の皺領域を検出する皺検出装置および皺検出方法に関する。
顔を撮影した画像から肌の皺領域を検出することが、従来行われている。ここで、皺領域とは、画像に映し出された、皺の部分の線状の画像領域である。
しかしながら、照明の影響等によって、皺領域が検出されなかったり、皺ではない部分が皺領域として検出されてしまうことがある。そこで、画像からの皺領域の検出(以下「皺検出」という)の精度を向上させる技術が、例えば特許文献1に記載されている。
特許文献1に記載の技術(以下「従来技術」という)は、エッジ検出フィルタを用いて、画像の各部分の勾配値を算出し、各勾配値を閾値と比較することにより、画像から線要素を取得する。ここで、勾配値とは、画像における画素値の変化の度合いを示す値である。そして、従来技術は、取得した線要素に隣接する部分について、各勾配値をより低い閾値と比較する処理を繰り返すことにより、線要素の領域を伸張させていく。
閾値が高いほど、シミ等の皺以外の要素が検出されてしまうこと(以下「誤検出」という)の可能性は低減される。一方、閾値が低いほど、実際に存在する皺が検出されないこと(以下「検出漏れ」という)の可能性は低減される。したがって、従来技術によれば、誤検出および検出漏れの両方を低減することができ、皺検出を高精度に行うことができる。
特開平8−123967号公報 特開2011−8643号公報 特開2011−115460号公報
しかしながら、従来技術は、取得された線要素のそれぞれについて、閾値を切り替えて近傍を探索する処理を繰り返す必要があるため、高い処理負荷を要する。例えば、顔を撮影した動画に追従して皺検出を行う場合や、演算能力やバッテリー駆動の携帯型情報処理端末で皺検出を行う場合を考慮すると、高精度な皺検出を、できるだけ低い処理負荷で実現できることが望まれる。
本発明の目的は、より低い処理負荷で高精度な皺検出を行うことができる皺検出装置および皺検出方法を提供することである。
本開示の皺検出装置は、画像に含まれる肌の皺領域を検出する皺検出装置であって、前記画像の各部分について、前記画像における画素値の変化の度合いを示す勾配値を第1の閾値と比較する第1の閾値処理を行うことにより、前記画像に含まれるエッジ領域を検出する第1の閾値処理部と、前記画像の各部分について、前記勾配値を第2の閾値と比較する第2の閾値処理を行うことにより、前記画像に含まれるエッジ領域を検出する第2の閾値処理部と、前記第1の閾値処理により検出された第1のエッジ領域と、前記第2の閾値処理により検出された第2のエッジ領域と、が重複する重複領域に基づいて前記皺領域を判定するエッジ選択処理部と、を有する。
本開示の皺検出方法は、画像に含まれる肌の皺領域を検出する皺検出方法であって、前記画像の各部分について、前記画像における画素値の変化の度合いを示す勾配値を第1の閾値と比較する第1の閾値処理を行うことにより、前記画像に含まれるエッジ領域を検出するステップと、前記画像の各部分について、前記勾配値を第2の閾値と比較する第2の閾値処理を行うことにより、前記画像に含まれるエッジ領域を検出するステップと、前記第1の閾値処理により検出された第1のエッジ領域と、前記第2の閾値処理により検出された第2のエッジ領域と、が重複する重複領域に基づいて前記皺領域を判定するステップと、を有する。
本開示によれば、より低い処理負荷で高精度な皺検出を行うことができる。
本発明の実施の形態1に係る皺検出装置の構成の一例を示すブロック図 本発明の実施の形態2に係る皺検出装置の構成の一例を示すブロック図 本実施の形態2における肌状態検出部の構成の一例を示すブロック図 本実施の形態2における皺領域の判定手法の一例を説明するための図 本実施の形態2に係る皺検出装置の動作の一例を示すフローチャート 本実施の形態2における皺領域が抽出される様子の一例を示す図
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
(実施の形態1)
本発明の実施の形態1は、本発明の基本的態様の一例である。
<皺検出装置の構成>
まず、本実施の形態に係る皺検出装置の構成について説明する。
図1は、本実施の形態に係る皺検出装置の構成の一例を示すブロック図である。
図1において、皺検出装置100は、画像に含まれる肌の皺領域を検出する装置であり、第1の閾値処理部221、第2の閾値処理部222、およびエッジ選択処理部223を有する。
第1の閾値処理部221は、画像の各部分について、勾配値を第1の閾値と比較する第1の閾値処理を行うことにより、画像に含まれるエッジ領域を検出する。ここで、勾配値とは、画像における画素値の変化の度合いを示す値であり、より強いエッジ部分においてより高くなる値である。
第2の閾値処理部222は、画像の各部分について、勾配値を第2の閾値と比較する第2の閾値処理を行うことにより、画像に含まれるエッジ領域を検出する。
エッジ選択処理部223は、第1の閾値処理により検出された第1のエッジ領域と、第2の閾値処理により検出された第2のエッジ領域と、が重複する重複領域に基づいて皺領域を判定する。
皺検出装置100は、図示しないが、例えば、CPU(Central Processing Unit)、制御プログラムを格納したROM(Read Only Memory)等の記憶媒体、およびRAM(Random Access Memory)等の作業用メモリを有する。この場合、皺検出装置100の上記各部の機能は、CPUが制御プログラムを実行することにより実現される。
重複領域は、真の皺領域の少なくとも一部である可能性が高い。したがって、重複領域に基づいて皺判定を行うことにより、皺判定の精度を向上させることができる。また、第1の閾値処理、第2の閾値処理、および重複領域に基づいて皺領域を判定する処理は、従来技術のように、閾値を切り替えながら線要素の近傍を探索する処理を繰り返す必要がない。したがって、本実施の形態に係る皺検出装置100は、より低い処理負荷で高精度な皺検出を行うことができる。
(実施の形態2)
本発明の実施の形態2は、本発明を、顔の肌の皺領域を検出してユーザに提示する装置に適用した場合の、具体的態様の一例である。
図2は、本実施の形態に係る皺検出装置100の構成の一例を示すブロック図である。
図2において、皺検出装置100は、撮影部110、画像取得部120、顔部品取得部130、肌状態検出部140、画像生成部150、および表示部160を有する。
撮影部110は、例えば、レンズおよびカラー撮像素子を含むカメラであり、ユーザの顔の画像を撮影する。そして、撮影部110は、撮影された画像を、画像取得部120へ出力する。撮影部110の動作は、例えば、画像取得部120により制御される。
画像取得部120は、入力された画像を、輝度調整等の必要な画質処理を行って、顔部品検出部130および画像生成部150のそれぞれへ出力する。かかる画質処理としては、後述のエッジ検出処理の内容に適した処理が採用される。なお、以下の説明において、画像取得部120から出力される画像は、「撮影画像」という。
なお、撮影画像は、画像取得部120あるいは他の装置部において、左右方向に反転されてもよい。
顔部品検出部130は、撮影画像から、撮影画像における顔部品の位置を検出する。ここで、顔部品とは、目、鼻、頬等、顔を構成する各部であり、例えば、目頭等、顔の特徴点の位置によって定義することができる。顔部品検出部130は、例えば、パターンマッチング等の公知の画像特徴点検出手法を用いて、撮影画像から顔の特徴点を抽出することにより、顔部品の位置の検出を行う。そして、顔部品検出部130は、撮影画像と、検出された各顔部品の位置を示す顔部品位置情報とを、肌状態検出部140へ出力する。
肌状態検出部140は、撮影画像における皺領域を検出する。そして、肌状態検出部140は、検出した皺領域を示す皺領域情報を、画像生成部150へ出力する。
図3は、肌状態検出部140の構成の一例を示すブロック図である。
図3において、肌状態検出部140は、検出領域決定部210、皺検出部220、およびシミ検出部230を有する。
検出領域決定部210は、顔部品検出部130から入力された顔部品位置情報に基づいて、皺検出の対象となる検出領域を決定する。例えば、検出領域決定部210は、両目および鼻の位置等から、左目の下瞼から左頬までの領域と、右目の下瞼から右頬までの領域とを、検出領域として決定する。かかる領域は、一般的に、皺ができやすい領域である。そして、検出領域決定部210は、撮影画像と、決定された検出領域を示す検出領域情報とを、皺検出部220およびシミ検出部230へ出力する。
なお、検出領域決定部210は、睫毛、髪の毛、眼鏡の縁等が占める領域を、検出領域から除外することが望ましい。例えば、睫毛領域の除去は、特許文献2あるいは特許文献3に記載の技術等、公知の画像処理技術を用いることにより、行うことができる。
皺検出部220は、検出領域における皺領域を検出する。皺検出部220は、第1の閾値処理部221、第2の閾値処理部222、およびエッジ選択処理部223を有する。
第1の閾値処理部221は、入力された撮影画像のうち、少なくとも、入力された検出領域情報が示す検出領域に対して第1の閾値処理を行うことにより、撮影画像に含まれるエッジ領域を検出する。そして、第1の閾値処理部221は、撮影画像と、検出領域情報と、第1の閾値処理により検出されたエッジ領域(以下「第1のエッジ領域」という)を示す第1のエッジ領域情報とを、第2の閾値処理部222へ出力する。
ここで、第1の閾値処理とは、撮影画像の各部分について、勾配値を算出し、算出された勾配値を第1の閾値と比較する処理である。
各部分の勾配値は、画像における画素値の変化の度合いを示す値であり、例えば、検出領域の画像データに対して、公知のエッジ検出フィルタを適用して得られる値である。エッジ検出フィルタとしては、ガボールフィルタ、ラプラシアンフィルタ、Prewittフィルタ、Sobelフィルタ等を採用することができる。
画素値の変化の度合いが高いほど、対応する勾配値が高くなる場合、第1の閾値処理では、勾配値が第1の閾値以上となる領域が、第1のエッジ領域として検出される。すなわち、第1の閾値処理は、第1の閾値を用いたエッジ検出処理である。
第2の閾値処理部222は、入力された撮影画像のうち、少なくとも、入力された検出領域情報が示す検出領域に対して第2の閾値処理を行うことにより、撮影画像に含まれるエッジ領域を検出する。そして、第2の閾値処理部222は、第1のエッジ領域情報と、第2の閾値処理により検出されたエッジ領域(以下「第2のエッジ領域」という)を示す第2のエッジ領域情報とを、エッジ選択処理部223へ出力する。
ここで、第2の閾値処理とは、第1の閾値処理と同様の処理であって、第1の閾値ではなく第2の閾値を用いてエッジ領域を検出する処理である。すなわち、第2の閾値処理は、第2の閾値を用いたエッジ検出処理である。
ここで、第2の閾値に対応する画素値の変化の度合いは、第1の閾値に対応する画素値の変化の度合いよりも高いものとする。すなわち、第1のエッジ領域の方が、第2のエッジ領域に比べて、皺領域を取り逃している可能性が低い。そして、第2のエッジ領域の方が、第2のエッジ領域に比べて、毛穴の連なり、肌の光沢、シミ等の皺領域以外の領域(以下「ノイズ」という)を含んでいる可能性が低い。
なお、第1の閾値処理により検出されるエッジ領域は、離隔した複数の領域として検出され得る。以下の説明において、離隔した複数の領域のそれぞれを、「第1のエッジ領域」と称する。すなわち、1つの第1のエッジ領域とは、1つの連続する領域である。そして、第1の閾値処理により、複数の第1のエッジ領域が検出され得る。「第2のエッジ領域」についても同様である。
また、第1の閾値処理部221および第2の閾値処理部222の前段に、これらの装置部とは別に、撮影画像の各部の勾配値を算出する装置部を配置してもよい。
エッジ選択処理部223は、入力された第1のエッジ領域情報および第2のエッジ領域情報に基づいて、第1のエッジ領域と第2のエッジ領域とが重複する重複領域を取得する。なお、エッジ選択処理部223は、複数の重複領域を取得し得る。エッジ選択処理部223は、取得された重複領域に基づいて、皺領域を判定する。そして、エッジ選択処理部223は、判定された皺領域を示す皺領域情報を、画像生成部150(図2参照)へ出力する。皺領域の判定の詳細については、後述する。
シミ検出部230は、入力された撮影画像から、撮影画像に含まれる肌のシミ領域を検出する。例えば、シミ検出部230は、撮影画像のうち、少なくとも、入力された検出領域情報が示す検出領域に対して、RGBの各チャネルの信号を用いて、値が閾値以下である画素を抽出する処理を行うことにより、かかるシミ領域検出を行う。そして、シミ検出部230は、検出されたシミ領域を示すシミ領域情報を、画像生成部150(図2参照)へ出力する。
図2の画像生成部150は、入力された皺領域情報に基づいて、撮影画像における皺領域を示す皺画像を生成し、生成された皺画像を撮影画像に重畳した皺強調画像を生成する。皺画像は、例えば、皺領域を所定の色で塗り潰した、皺の線の位置を示す画像である。そして、画像生成部150は、生成された皺強調画像を、表示部160へ出力する。
なお、皺強調画像は、画像生成部150あるいは後段の表示部160において、左右方向に反転されてもよい。また、画像生成部150は、シミ領域情報に基づいて、撮影画像におけるシミ領域を示すシミ画像を生成し、生成された皺画像を皺強調画像に含めてもよい。
表示部160は、例えば液晶ディスプレイを含み、入力された皺強調画像を表示する。
また、皺検出装置100は、図示しないが、例えば、CPU、制御プログラムを格納したROM等の記憶媒体、およびRAM等の作業用メモリを有する。この場合、皺検出装置100の上記各部の機能は、CPUが制御プログラムを実行することにより実現される。
このような構成を有する皺検出装置100は、第1の閾値に基づく第1のエッジ領域と、第2の閾値に基づく第2のエッジ領域とが重複する重複領域に基づいて、皺判定を行い、判定結果をユーザに提示することができる。
<皺領域の判定>
ここで、エッジ選択処理部223における皺領域の判定手法とその意義について説明する。
図4は、皺領域の判定手法の一例を説明するための図である。
図4に示すように、撮影画像(検出領域)301に対する第1の閾値処理および第2の閾値処理により、複数の第1のエッジ領域302と、複数の第2のエッジ領域303とが検出されたとする。上述の通り、第1のエッジ領域302の方がエッジ検出の基準が低い。このため、第2のエッジ領域303に比べて、より多くの領域が、第1のエッジ領域302として検出される。
エッジ選択処理部223は、例えば、複数の第1のエッジ領域302のそれぞれにA0、A1、・・・、A5とラベルを付ける、ラベリング処理を行う。また、エッジ選択処理部223は、例えば、複数の第2のエッジ領域303のそれぞれにB0、B1、・・・、B7とラベルを付ける、ラベリング処理を行う。
第1のエッジ領域302には、より多くの皺領域が含まれる可能性が高いが、ノイズを含む可能性も高い。一方で、一まとまりの連続したエッジ領域である第1のエッジ領域302の少なくとも一部が真の皺領域である場合、当該第1のエッジ領域302の全体が真の皺領域である可能性は高い。
そして、第2のエッジ領域303には、ノイズが含まれる可能性が低い。このため、第2のエッジ領域303の全体が、真の皺領域である可能性は高い。
そこで、エッジ選択処理部223は、1つまたは複数の第1のエッジ領域302のうち、第2のエッジ領域303の少なくとも一部を含む第1のエッジ領域302を、皺領域として選択する。言い換えると、第1のエッジ領域302のうち、第1のエッジ領域302と第2のエッジ領域303とが重複する重複領域を含む第1のエッジ領域302を、皺領域として選択する。
具体的には、エッジ選択処理部223は、1つまたは複数の第1のエッジ領域302から、重複領域を含まない第1のエッジ領域302を削除して得られる領域を、皺領域304として抽出する。
図4に示す例では、A0の第1のエッジ領域302は、B0〜B2の第2のエッジ領域303と重複している。A2の第1のエッジ領域302は、B3〜B5の第2のエッジ領域303と重複している。A3の第1のエッジ領域302は、B6、B7の第2のエッジ領域303と重複している。ところが、A1、A4、A5の第1のエッジ領域302は、いずれの第2のエッジ領域303とも重複していない。したがって、A0、A2、A3の第1のエッジ領域302のみが、皺領域304として抽出される。
このようにして皺領域304を抽出することにより、皺検出装置100は、検出漏れおよび誤検出の両方を低減した状態で、皺検出を行うことができる。
<皺検出装置の動作>
次に、皺検出装置100の動作について説明する。
図5は、皺検出装置100の動作の一例を示すフローチャートである。
ステップS1100において、画像取得部120は、撮影部110を用いて、ユーザの顔の撮影画像を取得する。
ステップS1200において、顔部品検出部130は、撮影画像から、各顔部品の位置を検出する。
ステップS1300において、検出領域決定部210は、顔部品の位置に基づいて、検出領域を決定する。検出領域は、上述の通り、例えば、左目の下瞼から左頬までの領域と、右目の下瞼から右頬までの領域である。
ステップS1400において、第1の閾値処理部221は、検出領域に対して第1の閾値処理を行い、第1のエッジ領域を検出する。
ステップS1500において、第2の閾値処理部222は、検出領域に対して第2の閾値処理を行い、第2のエッジ領域を検出する。なお、ステップS1400の処理とステップS1500の処理とは、逆の順序で行われてもよい。
ステップS1600において、エッジ選択処理部223は、第1のエッジ領域と第2のエッジ領域との重複領域を判定する。具体的には、エッジ選択処理部223は、例えば、第1のエッジ領域の各画素について、当該画素が第2のエッジ領域を構成するか否かを判断する。
ステップS1700において、エッジ選択処理部223は、重複領域を含む第1のエッジ領域を、皺領域と判定する。また、シミ検出部230は、シミ領域を検出する。
ステップS1800において、画像生成部150は、皺強調画像を生成し、表示部160を用いて、皺強調画像を表示する。
図6は、皺領域が抽出される様子の一例を示す図である。
図6Aに示すように、第1のエッジ領域311(濃い色で示す領域)には、第2のエッジ領域312(薄い色で示す領域)と重複しているものと、していないものとが存在する。第2のエッジ領域312と重複している第1のエッジ領域311は、真の皺領域である可能性が高く、第2のエッジ領域312と重複していない第1のエッジ領域311は、ノイズである可能性が高い。
したがって、図6Bに示すように、多数の第1のエッジ領域311から、第2のエッジ領域312と重複していない第1のエッジ領域311を除外した領域が、皺領域313と判定される。そして、図6Cに示すように、判定された皺領域313の画像314を撮影画像315に重畳した皺強調画像316が生成される。
なお、第2のエッジ領域を、画素の勾配値の閾値以外のパラメータ(例えばガボールフィルタの場合における波長等)を使って抽出した場合には、第1のエッジ領域と重複しない部分が存在し得る。このような場合、エッジ選択処理部223は、かかる部分についても、皺領域と判定してもよい。この場合、検出漏れを更に低減した状態で、皺検出を行うことができる。但し、上述のように、1つまたは複数の第1のエッジ領域から、重複領域を含まない第1のエッジ領域を削除して得られる領域を、皺領域とする処理の方が、処理負荷は低く抑えられる。
以上のような動作により、皺検出装置100は、第1の閾値に基づく第1のエッジ領域と、第2の閾値に基づく第2のエッジ領域とが重複する重複領域に基づいて、皺判定を行い、判定結果をユーザに提示することができる。
なお、皺検出装置100は、更に、上記第2のエッジ領域の抽出方法よりも厳しい方法を使用したエッジ検出処理を行い、得られた第3のエッジ領域を用いて、皺領域を増加あるいは削減してもよい。例えば、皺検出装置100は、第3のエッジ領域が含まれない第1のエッジ領域については、皺領域ではないと判定し、第1のエッジ領域に含まれない第3のエッジ領域については、皺領域に追加する。
<本実施の形態の効果>
以上説明したように、本実施の形態に係る皺検出装置100は、第1の閾値に基づく第1のエッジ領域と、第2の閾値に基づく第2のエッジ領域とが重複する重複領域に基づいて、皺判定を行う。
重複領域は、上述の通り、真の皺領域の少なくとも一部である可能性が高い。したがって、重複領域に基づいて皺判定を行うことにより、皺判定の精度を向上させることができる。また、本実施の形態に係る皺検出装置100は、従来技術のように、閾値を切り替えながら線要素の近傍を探索する処理を繰り返す必要がない。したがって、本実施の形態に係る皺検出装置100は、より低い処理負荷で高精度な皺検出を行うことができる。
<本実施の形態の変形例>
なお、重複領域に基づく皺領域の判定手法は、上述の例に限定されない。例えば、エッジ選択処理部223は、第2のエッジ領域のうち、第1のエッジ領域に少なくともその一部が含まれるもののみを選択し、選択された複数の第2のエッジ領域の間を補間して得られる領域を、皺領域と判定してもよい。
また、以上説明した実施の形態では、検出対象を肌の皺としたが、検出対象は、壁の傷、金属材料の表面のクラック、布の皺等、線状の溝の形状を有する他の状態であってもよい。
<本開示のまとめ>
本開示の皺検出装置は、画像に含まれる肌の皺領域を検出する皺検出装置であって、前記画像の各部分について、前記画像における画素値の変化の度合いを示す勾配値を第1の閾値と比較する第1の閾値処理を行うことにより、前記画像に含まれるエッジ領域を検出する第1の閾値処理部と、前記画像の各部分について、前記勾配値を第2の閾値と比較する第2の閾値処理を行うことにより、前記画像に含まれるエッジ領域を検出する第2の閾値処理部と、前記第1の閾値処理により検出された第1のエッジ領域と、前記第2の閾値処理により検出された第2のエッジ領域と、が重複する重複領域に基づいて前記皺領域を判定するエッジ選択処理部と、を有する。
なお、上記皺検出装置において、前記第2の閾値に対応する画素値の変化の度合いは、前記第1の閾値に対応する画素値の変化の度合いよりも高く、前記エッジ選択処理部は、前記第1のエッジ処理により得られた1つまたは複数の前記第1のエッジ領域のうち、前記重複領域を含む前記第1のエッジ領域を、前記皺領域として選択してもよい。
また、上記皺検出装置において、前記エッジ選択処理部は、前記1つまたは複数の前記第1のエッジ領域から、前記重複領域を含まない前記第1のエッジ領域を削除して得られる領域を、前記皺領域としてもよい。
また、上記皺検出装置は、前記画像を取得する画像取得部と、前記画像から、顔部品の位置を取得する顔部品取得部と、前記顔部品の位置に基づいて、前記画像のうち、前記第1の閾値処理および前記第2の閾値処理の対象となる検出領域を決定する検出領域決定部と、を有し、前記第1の閾値処理部および前記第2の閾値処理部は、前記画像から、少なくとも前記検出領域の各部の前記勾配値を算出してもよい。
また、上記皺検出装置は、前記画像を取得する画像取得部と、前記画像における前記皺領域を示す皺画像を生成し、生成された前記皺画像を前記画像に重畳した皺強調画像を生成する画像生成部と、前記皺強調画像を表示する表示部と、を有してもよい。
本開示の皺検出方法は、画像に含まれる肌の皺領域を検出する皺検出方法であって、前記画像の各部分について、前記画像における画素値の変化の度合いを示す勾配値を第1の閾値と比較する第1の閾値処理を行うことにより、前記画像に含まれるエッジ領域を検出するステップと、前記画像の各部分について、前記勾配値を第2の閾値と比較する第2の閾値処理を行うことにより、前記画像に含まれるエッジ領域を検出するステップと、前記第1の閾値処理により検出された第1のエッジ領域と、前記第2の閾値処理により検出された第2のエッジ領域と、が重複する重複領域に基づいて前記皺領域を判定するステップと、を有する。
本発明は、より低い処理負荷で高精度な皺検出を行うことができる皺検出装置および皺検出方法として有用である。
100 皺検出装置
110 撮影部
120 画像取得部
130 顔部品取得部
140 肌状態検出部
150 画像生成部
160 表示部
210 検出領域決定部
220 皺検出部
221 第1の閾値処理部
222 第2の閾値処理部
223 エッジ選択処理部
230 シミ検出部

Claims (6)

  1. 画像に含まれる肌の皺領域を検出する皺検出装置であって、
    前記画像の各部分について、前記画像における画素値の変化の度合いを示す勾配値を第1の閾値と比較する第1の閾値処理を行うことにより、前記画像に含まれるエッジ領域を検出する第1の閾値処理部と、
    前記画像の各部分について、前記勾配値を第2の閾値と比較する第2の閾値処理を行うことにより、前記画像に含まれるエッジ領域を検出する第2の閾値処理部と、
    前記第1の閾値処理により検出された第1のエッジ領域と、前記第2の閾値処理により検出された第2のエッジ領域と、が重複する重複領域に基づいて前記皺領域を判定するエッジ選択処理部と、を有する、
    皺検出装置。
  2. 前記第2の閾値に対応する画素値の変化の度合いは、前記第1の閾値に対応する画素値の変化の度合いよりも高く、
    前記エッジ選択処理部は、
    前記第1のエッジ処理により得られた1つまたは複数の前記第1のエッジ領域のうち、前記重複領域を含む前記第1のエッジ領域を、前記皺領域として選択する、
    請求項1に記載の皺検出装置。
  3. 前記エッジ選択処理部は、
    前記1つまたは複数の前記第1のエッジ領域から、前記重複領域を含まない前記第1のエッジ領域を削除して得られる領域を、前記皺領域とする、
    請求項1に記載の皺検出装置。
  4. 前記画像を取得する画像取得部と、
    前記画像から、顔部品の位置を取得する顔部品取得部と、
    前記顔部品の位置に基づいて、前記画像のうち、前記第1の閾値処理および前記第2の閾値処理の対象となる検出領域を決定する検出領域決定部と、を有し、
    前記第1の閾値処理部および前記第2の閾値処理部は、
    前記画像から、少なくとも前記検出領域の各部の前記勾配値を算出する、
    請求項1に記載の皺検出装置。
  5. 前記画像を取得する画像取得部と、
    前記画像における前記皺領域を示す皺画像を生成し、生成された前記皺画像を前記画像に重畳した皺強調画像を生成する画像生成部と、
    前記皺強調画像を表示する表示部と、を有する、
    請求項1に記載の皺検出装置。
  6. 画像に含まれる肌の皺領域を検出する皺検出方法であって、
    前記画像の各部分について、前記画像における画素値の変化の度合いを示す勾配値を第1の閾値と比較する第1の閾値処理を行うことにより、前記画像に含まれるエッジ領域を検出するステップと、
    前記画像の各部分について、前記勾配値を第2の閾値と比較する第2の閾値処理を行うことにより、前記画像に含まれるエッジ領域を検出するステップと、
    前記第1の閾値処理により検出された第1のエッジ領域と、前記第2の閾値処理により検出された第2のエッジ領域と、が重複する重複領域に基づいて前記皺領域を判定するステップと、を有する、
    皺検出方法。
JP2014118506A 2014-06-09 2014-06-09 皺検出装置および皺検出方法 Pending JP2015232746A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014118506A JP2015232746A (ja) 2014-06-09 2014-06-09 皺検出装置および皺検出方法
EP15166536.1A EP2955693B1 (en) 2014-06-09 2015-05-06 Wrinkle detection apparatus and wrinkle detection method
CN201510245897.9A CN105310690A (zh) 2014-06-09 2015-05-14 皱纹检测装置和皱纹检测方法
US14/726,631 US9782119B2 (en) 2014-06-09 2015-06-01 Wrinkle detection apparatus and wrinkle detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014118506A JP2015232746A (ja) 2014-06-09 2014-06-09 皺検出装置および皺検出方法

Publications (1)

Publication Number Publication Date
JP2015232746A true JP2015232746A (ja) 2015-12-24

Family

ID=53283982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014118506A Pending JP2015232746A (ja) 2014-06-09 2014-06-09 皺検出装置および皺検出方法

Country Status (4)

Country Link
US (1) US9782119B2 (ja)
EP (1) EP2955693B1 (ja)
JP (1) JP2015232746A (ja)
CN (1) CN105310690A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017126367A1 (ja) * 2016-01-22 2017-07-27 富士フイルム株式会社 ひび割れ情報編集装置、ひび割れ情報編集方法およびひび割れ情報編集プログラム
WO2019009214A1 (ja) * 2017-07-07 2019-01-10 キヤノン株式会社 画像から変状を検知する画像処理装置、画像処理方法及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9501689B2 (en) * 2014-03-13 2016-11-22 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
JP6550642B2 (ja) * 2014-06-09 2019-07-31 パナソニックIpマネジメント株式会社 皺検出装置および皺検出方法
US9934578B2 (en) * 2016-08-15 2018-04-03 Macau University Of Science And Technology Method for edge detection
EP3664016B1 (en) * 2017-08-24 2022-06-22 Huawei Technologies Co., Ltd. Image detection method and apparatus, and terminal
CN109086688A (zh) * 2018-07-13 2018-12-25 北京科莱普云技术有限公司 脸部皱纹检测方法、装置、计算机设备和存储介质
WO2020015149A1 (zh) * 2018-07-16 2020-01-23 华为技术有限公司 一种皱纹检测方法及电子设备
CN111199171B (zh) 2018-11-19 2022-09-23 荣耀终端有限公司 一种皱纹检测方法和终端设备
CN110738678B (zh) * 2019-10-18 2022-05-31 厦门美图宜肤科技有限公司 脸部细纹检测方法、装置、电子设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008293327A (ja) * 2007-05-25 2008-12-04 Noritsu Koki Co Ltd 顔画像表示システム
US20100316288A1 (en) * 2009-04-13 2010-12-16 Katharine Ip Systems and methods for segmenation by removal of monochromatic background with limitied intensity variations
JP2012510278A (ja) * 2008-12-03 2012-05-10 デラヴァル ホルディング アーベー 動物の身体の状態のスコアを決定するための装置及び方法
JP2013069122A (ja) * 2011-09-22 2013-04-18 Fujifilm Corp シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08123967A (ja) 1994-10-28 1996-05-17 Oki Electric Ind Co Ltd 画像のエッジ検出装置
ES2405879T3 (es) * 2006-03-13 2013-06-04 Given Imaging Ltd. Dispositivo, sistema y método para la detección automática de actividad contráctil en una trama de imagen
JP4952550B2 (ja) 2007-11-30 2012-06-13 トヨタ自動車株式会社 搬送膜のしわ検知装置およびその方法
JP4833322B2 (ja) 2009-06-26 2011-12-07 株式会社バンダイナムコゲームス 画像生成装置及びプリントシール製造方法
JP5578603B2 (ja) 2009-12-04 2014-08-27 国立大学法人佐賀大学 視線制御装置、視線制御方法、及びそのプログラム
US20110263946A1 (en) * 2010-04-22 2011-10-27 Mit Media Lab Method and system for real-time and offline analysis, inference, tagging of and responding to person(s) experiences
CN102798343B (zh) 2012-08-14 2014-12-24 胡海明 卷边皱纹检测器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008293327A (ja) * 2007-05-25 2008-12-04 Noritsu Koki Co Ltd 顔画像表示システム
JP2012510278A (ja) * 2008-12-03 2012-05-10 デラヴァル ホルディング アーベー 動物の身体の状態のスコアを決定するための装置及び方法
US20100316288A1 (en) * 2009-04-13 2010-12-16 Katharine Ip Systems and methods for segmenation by removal of monochromatic background with limitied intensity variations
JP2013069122A (ja) * 2011-09-22 2013-04-18 Fujifilm Corp シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高橋 拓也、外3名: ""解剖学的構造としわを手がかりとした手部寸法の画像計測"", 電気学会論文誌C, vol. 130, no. 4, JPN6017044030, 1 April 2010 (2010-04-01), JP, pages 686 - 695, ISSN: 0003683723 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017126367A1 (ja) * 2016-01-22 2017-07-27 富士フイルム株式会社 ひび割れ情報編集装置、ひび割れ情報編集方法およびひび割れ情報編集プログラム
JPWO2017126367A1 (ja) * 2016-01-22 2018-10-11 富士フイルム株式会社 ひび割れ情報編集装置、ひび割れ情報編集方法およびひび割れ情報編集プログラム
US10776910B2 (en) 2016-01-22 2020-09-15 Fujifilm Corporation Crack information editing device, method of editing crack information, and crack information editing program
WO2019009214A1 (ja) * 2017-07-07 2019-01-10 キヤノン株式会社 画像から変状を検知する画像処理装置、画像処理方法及びプログラム
JPWO2019009214A1 (ja) * 2017-07-07 2020-05-21 キヤノン株式会社 画像から変状を検知する画像処理装置、画像処理方法及びプログラム
US11443500B2 (en) 2017-07-07 2022-09-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program for detecting defect from image
JP7191823B2 (ja) 2017-07-07 2022-12-19 キヤノン株式会社 画像から変状を検知する画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
EP2955693B1 (en) 2019-08-21
EP2955693A1 (en) 2015-12-16
US9782119B2 (en) 2017-10-10
CN105310690A (zh) 2016-02-10
US20150351682A1 (en) 2015-12-10

Similar Documents

Publication Publication Date Title
JP2015232746A (ja) 皺検出装置および皺検出方法
JP6550642B2 (ja) 皺検出装置および皺検出方法
JP7027537B2 (ja) 画像処理方法および装置、電子機器、ならびにコンピュータ可読記憶媒体
US8879847B2 (en) Image processing device, method of controlling image processing device, and program for enabling computer to execute same method
JP6489427B2 (ja) 画像処理装置および画像処理方法
JP5140163B2 (ja) 視線測定のための方法及び装置
US20080284980A1 (en) Eye Tracker Having an Extended Span of Operating Distances
JP5661043B2 (ja) 外光映り込み判定装置、視線検出装置及び外光映り込み判定方法
US10311583B2 (en) Eye motion detection method, program, program storage medium, and eye motion detection device
KR20170056860A (ko) 이미지 생성 방법 및 장치
US10839529B2 (en) Image processing apparatus and image processing method, and storage medium
JP2017209280A (ja) 肌診断装置および肌診断方法
JP5737401B2 (ja) 瞼検出装置
US10593044B2 (en) Information processing apparatus, information processing method, and storage medium
US20160093064A1 (en) Image processing apparatus, image processing method, and storage medium
US11361455B2 (en) Systems and methods for facilitating the identifying of correspondences between images experiencing motion blur
JP2016009203A (ja) 皺検出装置および皺検出方法
JP2012068948A (ja) 顔属性推定装置およびその方法
JP6098133B2 (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム
EP3671541B1 (en) Classification of glints using an eye tracking system
JP6399122B2 (ja) 顔検出装置およびその制御方法
KR20150107581A (ko) 화상 처리 장치 및 화상 처리 방법
KR101276792B1 (ko) 눈 검출 장치 및 방법
KR20100081099A (ko) 아웃 포커싱 장치 및 방법
CN112528713A (zh) 一种注视点估计方法、***、处理器及设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180112

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180306