JP2019075162A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2019075162A JP2019075162A JP2018248410A JP2018248410A JP2019075162A JP 2019075162 A JP2019075162 A JP 2019075162A JP 2018248410 A JP2018248410 A JP 2018248410A JP 2018248410 A JP2018248410 A JP 2018248410A JP 2019075162 A JP2019075162 A JP 2019075162A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- information
- unit
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 69
- 238000003384 imaging method Methods 0.000 claims abstract description 73
- 238000004364 calculation method Methods 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 239000007787 solid Substances 0.000 claims description 45
- 230000000007 visual effect Effects 0.000 claims 1
- 238000012937 correction Methods 0.000 description 29
- 238000000034 method Methods 0.000 description 20
- 238000006243 chemical reaction Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000541 tocopherol-rich extract Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N2007/145—Handheld terminals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephone Function (AREA)
Abstract
【課題】撮像部の撮像方向と表示部の表示方向が揃うような場合に、好適な画像を生成する画像処理装置を提供する。【解決手段】画像表示装置102において、画像処理装置101は、入力された画像から被写体の顔位置情報と顔大きさ情報とを検出する顔情報検出部107と、被写体の視線情報を算出する視線情報算出部108と、顔位置情報と顔大きさ情報と顔の立体形状を表す顔立体形状テンプレート情報とを用いて被写体の顔モデルを生成する顔モデル生成部109と、視線情報と顔モデルとに基づいて被写体の視線方向が撮像部を向くように補正した画像を生成する画像生成部110と、を備える。視線情報算出部108は、顔位置情報と顔大きさ情報とから被写体の視線情報を算出する。【選択図】図1
Description
本発明は、撮像部の撮像方向と表示部の表示方向が揃うような場合に好適な画像を生成する画像処理装置、及びその画像処理装置を備える画像表示装置に関する。
携帯電話、タブレット、ノートPCやテレビなどの各種ディスプレイにおいて、撮像部の撮像方向と表示部の表示方向とを同一の方向に向けて配置し、自分の顔を被写体として撮像する方法がある。
この方法の代表的なアプリケーションには以下の2つがある。1つは、撮像した画像を左右反転させて鏡像表示することで自分の顔の確認が必要な化粧などの作業を可能にするミラー機能である。もう1つは、遠隔地の相手が保有するディスプレイに撮像画像を表示することで遠隔地の相手との会話を可能にするビデオチャット、もしくはTV会議機能である。
ミラー機能では表示部に自分の顔が表示され、ビデオチャットでは表示部に相手の顔が表示されるため、使用者は撮像部ではなく、表示部を注視することになる。撮像される被写体の視線方向と撮像部の撮像方向が一致しないため、撮像される被写体は正面を向いておらず、遠隔地にいる相手、もしくは被写体本人が撮像画像を見ても被写体と視線が一致しない状態となる。この被写体の視線方向を補正する方法として、例えば、下記特許文献1では、入力された画像データに含まれる人物の視線が画像データの正面を向くように、画像データに含まれる人物の眼瞼裂領域(眼球の露出領域)の画素を変更することによって虹彩及び瞳孔の位置を変更する方法が開示されている。
しかしながら、先述した方法では、顔ベクトルの向きと画像データ正面の向きとの差にもとづいて、ユーザの視線が画像データの正面を向くように、虹彩モデルおよび瞳孔モデルの配置位置を決定するため、例えば顔は横を向いているが視線は正面を向いているなど、顔の向きと視線の向きとが異なる場合、視線が横を向いたような画像が生成されてしまい、好適な画像を生成することが困難であった。
本発明は上記課題を鑑みて発明されたものであり、撮像部の撮像方向と表示部の表示方向が揃うような場合に、好適な画像を生成する画像処理装置を提供することを目的とする。
本発明の一観点によれば、入力された画像から被写体の顔位置情報と顔大きさ情報とを検出する顔情報検出部と、前記被写体の視線情報を算出する視線情報算出部と、前記顔位置情報と前記顔大きさ情報と顔の立体形状を表す顔立体形状テンプレート情報とを用いて前記被写体の顔モデルを生成する顔モデル生成部と、前記視線情報と前記顔モデルとに基づいて前記被写体の視線方向が撮像部を向くように補正した画像を生成する画像生成部と、を備え、前記視線情報算出部は、前記顔位置情報と前記顔大きさ情報とから前記被写体の前記視線情報を算出することを特徴とする画像処理装置が提供される。
ユーザは、表示部に表示された画像の目領域付近を見ていると仮定し、画像中の被写体の目領域の位置から、ユーザの視線情報を算出することができる。
本明細書は本願の優先権の基礎である日本国特許出願2013−196627号の明細書および/または図面に記載される内容を包含する。
本発明によれば、撮像部の撮像方向と表示部の表示方向が揃うような場合に、被写体の視線方向に応じて視線方向を変更した画像を生成することができ、好適な画像を生成できるようになる。
以下、添付図面を参照して本発明の実施の形態について説明する。なお、添付図面は本発明の原理に則った具体的な実施の形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。また、各図における構成は、理解しやすいように誇張して記載しており、実際の間隔や大きさとは異なる。
<第1の実施の形態>
図1は、本発明の実施の形態による画像処理装置101を備える画像表示装置102の一構成例を示す機能ブロック図であり、画像表示装置102の撮像部103で被写体を撮像して、撮像した自分の画像から好適な画像を生成し、生成画像を表示部104に表示する場合の例を示す。
図1は、本発明の実施の形態による画像処理装置101を備える画像表示装置102の一構成例を示す機能ブロック図であり、画像表示装置102の撮像部103で被写体を撮像して、撮像した自分の画像から好適な画像を生成し、生成画像を表示部104に表示する場合の例を示す。
以下、本発明の第1の実施の形態のシステム構成例及び動作の詳細を、図1を参照しながら詳細に説明する。図1に示す画像表示装置102は、撮像部103と、表示部104と、記憶部105と、画像処理装置101と、入出力部106と、を備える。
撮像部103は、撮像レンズ及びCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備えており、被写体の静止画や動画を撮像できる。
表示部104は、LCD(Liquid Crystal Display:液晶ディスプレイ)や有機EL(Electro Luminescence)ディスプレイなどの表示画面であり、画像や文字などの情報や被写体の画像等を表示する。
画像処理装置101は、例えばCPU(Central Processing Unit:中央処理装置)やGPU(Graphic Processing Unit:画像処理用処理装置)等で構成することができ、撮像部103、記憶部105、入出力部106等から画像を取得して処理し、表示部104、記憶部105等へ処理後の画像を出力する。
また、画像処理装置101は、顔情報検出部107と視線情報算出部108と顔モデル生成部109と画像生成部110とを備えている。
顔情報検出部107は、画像処理装置101に入力される画像から、顔情報(被写体の顔位置情報と顔大きさ情報)を抽出する。
視線情報算出部108は、顔情報検出部107で検出された顔情報を基に、ユーザの視線情報を算出する。
顔モデル生成部109は、顔情報検出部107で検出された顔情報と、顔立体形状テンプレート情報とを基に、被写体に応じた顔モデルを生成する。顔立体形状テンプレート情報については後述する。
画像生成部110は、被写体の視線情報と顔モデルとを基に、被写体の視線方向と撮像部103の視線方向を一致させるように、被写体の視線方向を補正した画像を生成する。
記憶部105は、例えばフラッシュメモリやハードディスクであり、画像と顔立体形状テンプレート情報等を記憶したり、機器固有のデータを保存したりする。
入出力部106は、キーボタンやマイクやスピーカー等の音声入出力装置等、ユーザの命令や音声などを画像処理装置に入力したり音声を出力したりする。
以上が第1の実施の形態におけるシステム構成例である。
次に、第1の実施の形態における画像表示装置102の動作について図2から図7までを参照して詳しく説明する。まず、顔検出の動作について、図2を用いて詳しく説明する。
図2は、顔情報検出部107で検出される顔位置情報と顔大きさ情報とを説明する図である。
顔情報検出部107は、画像から、被写体の顔情報として、顔位置情報と顔大きさ情報とを検出する。ここで、顔位置情報とは、例えば、検出された顔領域の左上座標201のことである。顔領域の左上座標201とは、画像の横方向をx軸、縦方向をy軸、画像の左上座標を原点202(x、y)=(0、0)としたとき、(x、y)=(x軸成分203、y軸成分204)となる位置のことである。顔大きさ情報とは、検出された顔領域の横画素数205と縦画素数206のことである。
画像から顔位置情報と顔大きさ情報とを検出する方法は、顔の色と考えられる肌色を検出して顔領域を特定する方法や、多数の顔画像と顔以外の画像(非顔)の学習サンプルから統計的に識別関数を求め、顔位置情報と顔大きさ情報を検出する方法(P.Viola and M.Jones,“Rapid object detection using a boosting cascade of simple features”,Proc.IEEE Conf.CVPR,pp.511−518,2001参照)が知られており、上述した方法を用いることで実現できる。以上により、顔位置情報と顔大きさ情報との検出がなされる。
次に、視線情報算出部108の動作について、図3及び図4を用いて説明する。図3は撮像部103とユーザの視線位置との関係を説明する図である。図4は撮像方向とユーザの視線方向とのずれを説明する図である。
視線情報算出部108では、ユーザは表示部104に表示された画像の目領域付近を見ていると仮定し、画像中の被写体の目領域の位置から、ユーザの視線情報を算出する。すなわち、ミラー機能ではユーザは表示部104に表示されている自分の顔を見ていると仮定し、ビデオチャット機能ではユーザは表示部104に表示されている相手の顔を見ていると仮定する。ユーザの視線情報は、撮像部103と表示部104との関係と、ディスプレイパラメータと、顔情報検出部107で検出された顔情報とを基に算出する。撮像部103と表示部104との関係は、撮像部103と画像の左上座標302との距離[mm]のX軸成分Gx303[mm]とY軸成分Gy304[mm]で表す。ディスプレイパラメータは、ディスプレイピクセルピッチpd[mm/ピクセル]を用いる。撮像部103とユーザの視線位置305との距離E306[mm]のX軸成分Ex307[mm]とY軸成分Ey308[mm]は式(1)と式(2)とで表すことができる。
(1)
(2)
(1)
(2)
ここで、Eposx[ピクセル]は顔領域の左上座標201から被写体の目領域の中心位置までのX軸方向の長さ309を表す。Epoxy[ピクセル]は顔領域の左上座標201から被写体の目領域の中心位置305までのY軸方向の長さ310を表す。顔領域における目領域の位置305は、顔検出に使用する手法によって変動するため、EposxとEpoxyの値は初期値を顔領域の中心位置としておき、後で任意の値に変更できるようにしておく。このように、ユーザの視線の位置を撮像部103からの距離として表すことで、次に述べる撮像部103の撮像方向とユーザの視線方向とのずれを角度で算出することが容易となる。
上述した手法により算出したユーザの視線位置(Ex,Ey)305を用いて、撮像部103の撮像方向とユーザの視線方向とのずれを角度で表す方法を説明する。図4(a)、(b)に示すように撮像部103の撮像方向と被写体の視線方向との左右方向のずれθx402と上下方向のずれθy403は式(3)と式(4)とで算出できる。
(3)
(4)
(3)
(4)
ここで、撮像画像の縦解像度をH[ピクセル]、顔立体形状テンプレート情報に格納されている顔の長さをF[mm]、顔大きさ情報から得られる顔の縦画素数をL[ピクセル]、カメラの画角をA[mm]とする。以上の処理により、視線情報としてユーザの視線位置(Ex、Ey)とユーザの視線方向と撮像方向とのずれの角度(θx、θy)とを算出し、画像生成部に出力する。
次に、顔モデル生成の動作について図5及び図6を用いて説明をする。図5は顔と顔に対応する顔立体形状テンプレート情報を説明する図である。図6は入力画像と入力画像に対応する顔モデルとを説明する図である。まず、顔モデル生成に用いる顔の立体形状を表す顔立体形状テンプレート情報について詳しく説明する。顔立体形状テンプレート情報とは、図5のように顔501の立体形状が記録されたデータ502のことである。ここでは、簡単のために被写体の顔を球として表現している。顔立体形状テンプレート情報は、人間の顔の平均顔であり、複数人のサンプルから取得した顔の立体形状を平均して作成することができる。また、CG(Computer Graphic)を用いても作成することができる。
図5に示した顔立体形状テンプレート情報502は、画像表示装置102から顔までの距離を画素毎に格納した画像であり、顔の立体形状を輝度値で表している。画像表示装置に近い顔の部分ほど明るい画素で、距離が遠いほど暗い画素で表している。この顔立体形状テンプレート情報を用いて、顔モデルの生成を行う。
顔モデル生成は、次に示す2段階の処理を行う。1段階目は、顔立体形状テンプレート情報が有する距離ヒストグラムを調整した中間顔モデルを生成する。距離ヒストグラムとは、横軸を距離、縦軸をその距離が出現する頻度で表したものである。距離ヒストグラムを用いることで、顔立体形状テンプレート情報が有する距離の分布状況を視覚的に認識することができる。距離ヒストグラムの分布が大きいほど顔に厚みがあり、距離ヒストグラムの分布が小さいほど顔に厚みがないことを表す。2段階目は、中間顔モデルの縦解像度と横解像度を変更する。
まず、1段階目の顔立体形状テンプレート情報の距離ヒストグラムの調整方法について、詳しく説明する。被写体の顔領域が有する距離ヒストグラムは、画像表示装置102と被写体までの距離によって、最大値と最小値は変化するが、分布の大きさは変化しない。画像表示装置102と被写体までの距離を距離ヒストグラムの最小値とし、その最小値に顔立体形状テンプレート情報が有する人間の顔の奥行きを加算した値を、距離ヒストグラムの最大値とする。通常は鼻先端から後頭部までが人間の顔の奥行きとなるが、撮像部103で撮像する際、後頭部部分は遮蔽領域となり撮像できないことが多いため、鼻先端から頬までの距離とすると保持しておくデータ量が少なくなり好適である。また、画像表示装置102と被写体までの距離Z[mm]は、式(5)を用いて顔大きさ情報から得られる顔の縦画素数L[ピクセル]から推定する。上述した手法により、検出された顔大きさ情報から画像表示装置102と被写体までの距離を算出し、算出された画像表示装置102と被写体までの距離を用いて、中間顔モデルが有する距離ヒストグラムの最小値と最大値とを決定する。
ここで、変数Dは変換前の距離を、変数D’は変換後の距離を表す。変数Mmaxは変更前の距離ヒストグラムの最大値を、変数Mminは変更前の距離ヒストグラムの最小値を表し、変数Rmaxは変更後の距離ヒストグラムの最大値を、変数Rminは変更後の距離ヒストグラムの最小値を表す。以上の処理により、顔大きさ情報を用いて顔立体形状テンプレート情報の距離ヒストグラムを調整し、中間顔モデルとして生成する。
次に、2段階目の中間顔モデルの縦解像度と横解像度を変更する処理について詳しく説明する。中間顔モデルの縦解像度と横解像度を、検出された顔領域の縦解像度と横解像度が等しくなるように、中間顔モデルを拡大あるいは縮小する。すなわち、中間顔モデルの解像度よりも検出された顔の解像度が大きい場合は、中間顔モデルを縮小する。中間顔モデルの解像度よりも検出された顔の解像度が小さい場合は、中間顔モデルを縮小する。以上の拡大あるいは縮小処理により、顔大きさ情報と同じ大きさとなった中間顔モデルを、画像601と同じ解像度の画像602に、画像601中の顔領域の左上座標603と、中間顔モデルの左上座標604とが同じになるように配置する。中間顔モデルを配置した画像602を顔モデルとして、画像生成部に出力する。
上述の方法は、被写体の顔の立体形状を取得するために画像表示装置102に新たなセンサを追加したり、立体形状算出処理などの複雑な処理を実行したりする必要がなく、簡易なシステムで被写体の顔モデルを生成し、被写体の正面顔生成に活用できるため好適である。また、顔立体形状テンプレート情報とその顔部品情報の位置情報を検出しておき、さらに顔情報検出部107において顔部品情報を検出するようにすると、顔立体形状テンプレート情報の顔部品情報の位置情報と、検出された顔領域の顔部品情報の位置情報が一致するように、顔立体形状テンプレート情報を変形でき、次に説明する画像生成の際に、より品質の高い視線補正画像を生成できるため好適である。
最後に、画像生成の動作について図7を用いて詳しく説明する。図7は入力画像(a)と視線補正画像(b)を説明するための図である。画像生成部110は、視線情報と顔モデルと画像701とを用いて、被写体の視線が補正された画像702を生成する。次に、視線補正画像を生成する方法を説明する。画像701に対応する顔モデル、すなわち顔の距離データを用いて画像701の各画素における3次元空間での位置を変換し、視線方向が補正された画像を生成する。この3次元空間での位置変換は、視線情報に基づいて行う。視線情報である被写体の視線方向と撮像部103の撮像方向とのX軸方向のずれθxに応じて、左右方向にずれている角度分を修正し、被写体の視線方向と撮像部103の撮像方向とのY軸方向のずれθyに応じて上下方向にずれている角度分を修正するように、画像上の画素を補正する。
以上のように被写体の顔位置情報と顔大きさ情報とを用いて視線情報を算出することにより、被写体の視線方向に応じた視線補正画像を生成することができる。
以上、上記動作の流れを図8に示すフローチャートを用いて説明をする。
まず、ステップS801において、画像処理装置101は、撮像部103から撮像画像を取り込む。次に、ステップS802において、顔情報検出部107が、撮像画像から顔大きさ情報や顔位置情報などの顔情報を検出する(図3)。次に、ステップS803において、視線情報算出部108が、顔情報を用いて被写体の視線情報を算出する(図4)。
次に、ステップS804において、画像処理装置101は、記憶部105から顔立体形状テンプレート情報を取得する(図5)。次に、ステップS805において、顔モデル生成部109は、顔モデル生成を行う。顔モデル生成では、顔大きさ情報を基に顔立体形状テンプレート情報を変換し、顔モデルを生成する(図6)。
次に、ステップS806において、画像生成部110は、顔モデルと視線情報とを用いて、撮像画像中の被写体の視線方向と撮像部103の撮像方向とを一致させるように被写体の視線方向を変更した画像を生成する(図7)。そして、ステップS807において、画像生成部110が、生成した画像を表示部104に出力する。以上が画像処理装置101の動作の流れである。以上のようにして、第1の実施の形態の画像表示装置102は動作する。
上述した本実施の形態に係る画像処理装置101を備える画像表示装置102によれば、被写体の視線方向に応じて適切に画像処理することができ、好適な画像を表示することができる。
また、本実施の形態では顔立体テンプレート情報が1つであった場合で説明したが、複数の顔立体形状テンプレート情報から適切なものを選択するようにしても良い。例えば、検出された顔部品情報や顔大きさ情報等から、被写体の目の幅や顔部品情報の配置や顔の形等の顔の情報を解析し、年齢や顔の形や彫りの深さ等の顔の立体形状を推定し、推定した顔の立体形状に最も近い顔立体形状テンプレート情報を選択する。これにより、ユーザに適した顔立体形状テンプレート情報で画像処理を行うため、生成される画質を向上させることができ好適である。
さらに、ユーザの顔の立体形状に似ている少なくとも2つ以上の顔立体形状テンプレート情報が存在する場合、2つ以上の顔立体形状テンプレート情報の中間となる中間顔立体形状テンプレート情報を生成すると、ユーザの顔の立体形状により適合した顔モデルを生成できるため好適である。中間顔立体形状テンプレート情報は、2つ以上の顔立体形状テンプレート情報にモーフィングを施して生成する。ユーザの顔の立体形状が顔立体形状テンプレート情報Aに45%類似し、顔立体形状テンプレート情報Bに55%類似している場合、類似している割合に応じてモーフィングを施す。複数の顔立体形状テンプレート情報からモーフィングでユーザに適した顔立体形状テンプレート情報を生成することで、ユーザの顔の立体形状により適合した顔モデルを生成できるため好適である。
また、顔立体形状テンプレート情報Aと顔立体形状テンプレート情報Bとの間でテンプレート情報の選択が大きく変動しないので、選択したテンプレート情報が急に切り変わることにより生成画像に生じる違和を失くすことができるため好適である。さらに、ユーザの顔部品情報毎に類似度合を算出すると、目の形状は顔立体形状テンプレート情報Cを、顔の輪郭は顔立体形状テンプレート情報Dを用いるなど、よりユーザの顔の立体形状に適合した顔モデルを生成できるため好適である。
<第2の実施の形態>
次に、本発明の第2の実施の形態に係る画像処理装置901を備えた画像表示装置902の構成について、図9を用いて説明する。図9において、図1と同じ構成要素には同じ番号を付しており、これらの要素は図9の例と同じ処理を行うため説明を省略する。
次に、本発明の第2の実施の形態に係る画像処理装置901を備えた画像表示装置902の構成について、図9を用いて説明する。図9において、図1と同じ構成要素には同じ番号を付しており、これらの要素は図9の例と同じ処理を行うため説明を省略する。
本実施の形態と第1の実施形態との違いは、本実施の形態では、撮像画像が画像合成処理に適しているか否かの度合いを算出する適合度算出部903と、適合度算出部で算出された適合度を基に画像を変換する画像変換部904とを備えた構成になっていることである。
次に、第2の実施の形態における画像表示装置902の動作について図10及び図11を用いて詳しく説明する。まず、適合度算出部903の動作について、図10を用いて詳しく説明する。図10は画像生成に好適と判定される領域を説明するための図である。
適合度算出部903は、顔情報を用いて適合度を算出する。適合度は画像生成に好適と判定される領域に対する顔領域のずれ情報で表す。画像生成に好適と判定される領域とは、顔検出結果を安定して取得できる画像中央の領域1001である。検出された顔領域が領域1001に全て含まれれば、適合度を最大とする。検出された顔領域が領域1001に一部分ふくまれている場合は、顔領域に対して領域外となっている面積分、適合度を低くする。検出された顔領域が領域1001に含まれていない場合は、適合度を最小とする。
ここで、画像生成に好適と判定される領域を、前フレームの生成画像の表示有無で変更できるようにしておくと、検出された顔情報から算出される適合度が、画像生成の有無を決定するしきい値の前後に分布する場合でも、生成画像と撮像画像が頻繁に切り替わって表示されることを防ぐことができるため好適である。すなわち、前フレームにおいて撮像画像が表示されている場合に画像生成に好適と判定される領域1002と、前フレームにおいて生成画像が表示されている場合に画像生成に好適と判定される領域1001と、を異なる領域として設定しておくことで、検出された顔が画像端に存在するなどして、適合度がフレーム毎に大きく変動する場合でも、撮像画像と生成画像とが頻繁に切り替わって表示されることなく、好適な画像を表示することができる。撮像画像と生成画像とが切り替わって表示されるとき、もしくは、生成画像と撮像画像とが切り替わって表示されるとき、撮像画像と生成画像との間にユーザの視線方向と撮像方向とのずれが遷移している状態の画像、すなわち視線遷移画像を表示させると、ユーザの視線方向が滑らかに変化しているように見えるため好適である。撮像画像から生成画像へ切り替わるときは、視線方向のずれが(0,0)から(θx、θy)へ視線方向が変化する画像を視線遷移画像として生成する。反対に、生成画像から撮像画像へ切り替わるときは、視線方向のずれが(θx、θy)から(0,0)へ視線方向が変化する画像を視線遷移画像として生成する。
上述の方法により算出された適合度を用いれば、顔検出はされているが画像合成に適さない画像を判定することができる。また、被写体が画面端に撮像されているなどの原因で顔検出の動作が不安定になる場合、生成画像と撮像画像が頻繁に切り替わって表示されること防ぐことができ、好適な画像を表示することができる。
次に、画像変換部の動作について図11を用いて詳しく説明をする。図11は適合度により画像変換を行った例を示す図である。
画像変換部は、顔情報と適合度を用いて画像を変換し、ユーザが画像合成に適した顔画像を撮像しやすくする。適合度を大きくするためには、画像中の被写体顔領域を画像中心に撮像する必要がある。そこで、顔情報と適合度を用いて画像を変換する。すなわち、適合度の低い顔領域が画像右下に位置している画像1101の場合(a)、画像を右下方向に平行移動させた画像1102(b)を生成して表示することで、ユーザが表示装置を右下に移動させるように誘導する。移動の方向は、顔位置情報によって決定される。顔領域が上部に表示されていれば、上方向に平行移動させ、左部に表示されていれば左方向に平行移動させる。このとき、撮像画像と平行移動させた画像との間に、撮像画像から平行移動後の画像へ遷移している状態の画像、すなわち平行移動遷移画像を表示させると、ユーザの顔が滑らかに移動しているように見え、移動方向が分かりやすくなるため好適である。
上述の方法により変換された画像を用いれば、顔検出はされているが画像合成に適さない画像であることをユーザに伝え、かつ、ユーザが画像合成に適する画像を撮像できるように誘導することができる。
以下、上記動作の流れを図12に示すフローチャートを用いて説明をする。
まず、ステップS1201において、画像処理装置901は、撮像部103から撮像画像を取り込む。次に、ステップS1202において、顔情報検出部107が、撮像画像から顔大きさ情報や顔位置情報などの顔情報を検出する。次に、ステップS1203において、適合度算出部903が、顔情報を用いて被写体の顔画像の適合度を算出する。
次に、ステップS1204において、適合度がしきい値以上か否かを判定する。適合度がしきい値以上と判定された場合は(Yes)ステップS1205からS1209を実行する。適合度がしきい値未満と判定された場合は(No)スキップS1210からS1211を実行する。まず、適合度がしきい値以上と判定された場合の動作を説明する。ステップS1205において、視線情報算出部108が、顔情報を用いて被写体の視線情報を算出する。次に、ステップS1206において、画像処理装置901は記憶部105から顔立体形状テンプレート情報を取得する。次に、ステップS1207において、顔モデル生成部109は、顔モデル生成を行う。顔モデル生成では、顔大きさ情報を基に顔立体形状テンプレート情報を変換し、顔モデルを生成する。次に、ステップS1208において、画像生成部110は、顔モデルと視線情報とを用いて、撮像画像中の被写体の視線方向と撮像方向とを一致させるように被写体の視線方向を変更した画像を生成する。そして、ステップS1209において、画像生成部110が、生成した画像を表示部104に出力する。次に、適合度がしきい値未満と判定された場合の動作を説明する。まず、ステップS1210において、画像変換部904は顔情報と適合度とを用いて、ユーザが画像生成に適した画像を撮像しやすいように、すなわち適合度が高い画像を撮像できるように、画像を変換する。次に、ステップS1211において、画像変換部904が、変換した画像を表示部104に表示する。以上が画像処理装置901の動作の流れである。以上のようにして、第2の実施の形態の画像表示装置902は動作する。
上述した本発明に係る画像処理装置901を備える画像表示装置902によれば、画像生成に好適な画像であるか否かを判定し、好適な画像であれば生成画像を、好適でなければ撮像画像を表示させ、生成画像と撮像画像とを適切に切り換えて表示することで、不適な画像が表示されることを防ぐことができるため、好適な画像を表示することができる。さらに、撮像画像に対してユーザが画像生成に適した画像を生成しやすいように、画像を平行移動させて表示することで、好適な画像を撮像することができる。
本実施の形態では、画像変換部904において、適合度を用いて撮像画像に平行移動を施したが、被写体の顔領域の上下左右に適合度を重畳した画像を変換画像として出力してもよい。撮像画像に適合度を重畳すると、ユーザが画像生成に適した画像を撮像できているか否か、視覚的に分かりやすく表示できるため、好適である。
<第3の実施の形態>
次に、本発明の第3実施の形態に係る画像処理装置1301を備える画像表示装置1302の構成について、図13を用いて説明する。図13において、図1と同じ構成要素には同じ番号を付しており、これらの要素は図13の実施の形態と同じ処理を行うため説明を省略する。
次に、本発明の第3実施の形態に係る画像処理装置1301を備える画像表示装置1302の構成について、図13を用いて説明する。図13において、図1と同じ構成要素には同じ番号を付しており、これらの要素は図13の実施の形態と同じ処理を行うため説明を省略する。
本実施の形態と第1の実施の形態との違いは、画像表示装置1302の傾きを検出する傾き角検出部1303と、画像表示装置1302の傾き角に応じて被写体の視線方向の補正情報を算出する視線補正情報算出部1304とを備えた構成になっていることである。傾き角検出部1303は画像表示装置1302の傾きを視線補正情報算出部1304に入力する。視線補正情報算出部1304は、画像表示装置1302の傾きに応じて、被写体の視線方向の補正情報を算出し、画像生成部1305に出力する。画像生成部1305は、視線情報と視線補正情報とを基に、被写体の視線方向が補正された画像を生成する。
次に、第3の実施の形態における画像表示装置1302の動作について図14及び図15を用いて詳しく説明する。まず、傾き角検出部1303の動作について、図14を用いて詳しく説明する。
傾き角検出部1303は、画像表示装置1302のオイラー角情報を検出する。オイラー角情報は、画像表示装置1302のロール角1401とピッチ角1402とヨ−角1403で構成される。画像表示装置1302の縦向きの表示部104を正面から見る視点において、ロール角1401は画像表示装置1302の上部から下部への垂直方向の軸を中心とした回転角度、ピッチ角1402は画像表示装置1302の左右を通る水平の軸を中心とした回転角度、ヨ−角1403は画像表示装置1302前面から背面へと通る軸を中心とした回転角度を表している。検出したオイラー角情報のうち、ロール角1401とピッチ角1402とを傾き角情報(φ、θ)として、視線補正情報算出部1304へ出力する。
次に、視線補正情報算出部1304の動作について、図15を用いて詳しく説明する。視線補正情報算出部1304は、傾き角検出部1303で検出された傾き角(φ、θ)を用いて、視線方向を補正するための視線補正情報を算出する。まず、傾き角と画像のx軸方向とy軸方向とを対応付ける。撮像部と表示部との関係が、表示部1501の上部に撮像部1502が位置する場合、傾き角φと画像x軸方向とを対応付け、傾き角θと画像のy軸方向1504とを対応付ける。撮像部と表示部との関係が、表示部1505の右部に撮像部1506が位置する場合、傾き角θと画像のx軸方向1507とを対応付け、傾き角φと画像のy軸方向1508とを対応付ける。傾き角が0のとき、視線補正量(θ’x、θ’y)を(0,0)とし、傾き角が大きくなるに従い、視線補正量(θ’x、θ’y)の値を傾き角に応じて増加させる。このとき、傾き角が最大となったときの傾き角を保持しておくと、端末を傾けることで視線方向を補正した被写体を、傾き角0の状態で確認することができるため好適である。
次に、画像生成部1305の動作について詳しく説明する。画像生成部1305は、視線情報と視線補正情報と顔モデルと撮像画像とを用いて、被写体の視線方向が補正された画像を生成する。視線情報が(θx、θy)で、視線補正情報が(θ’x、θ’y)の場合、画像生成部1305は撮像方向と視線方向とのずれが(θx+θ’x、θy+θ’y)として、撮像画像の視線方向を補正する。
以下、上記動作の流れを図16に示すフローチャートを用いて説明する。
まず、ステップS1601において、画像処理装置1301は、撮像部103から撮像画像を取り込む。次に、ステップS1602において、顔情報検出部107が、撮像画像から顔大きさ情報や顔位置情報などの顔情報を検出する。次に、ステップS1603において、視線情報算出部108が、顔情報を用いて被写体の視線情報を算出する。次に、ステップS1604において、傾き角検出部1303が画像表示装置1302の傾き角を取得する。次に、ステップS1605において、視線補正情報算出部1304が傾き角から視線補正情報を算出する。次に、ステップS1606において、画像処理装置1301は記憶部105から顔立体形状テンプレート情報を取得する。次に、ステップS1607において、顔モデル生成部109は、顔モデル生成を行う。顔モデル生成では、顔大きさ情報を基に顔立体形状テンプレート情報を変換し、顔モデルを生成する。次に、ステップS1608において、画像生成部1305は、顔モデルと視線情報と視線補正情報とを用いて、撮像画像中の被写体の視線方向と撮像方向とを一致させるように被写体の視線方向を変更した画像を生成する。そして、ステップS1609において、画像生成部1305が、生成した画像を表示部104に出力する。
上述した本発明に係る画像処理装置1301を備える画像表示装置1302によれば、傾き角に応じてユーザの視線補正量を変化させることで、生成画像における視線のずれをユーザが簡易に調整することができ、好適な画像を表示することができる。
<第4の実施の形態>
次に、本発明の第4実施の形態に係る画像処理装置1701を備える画像表示装置1702の構成について、図17を用いて説明する。図17において、図1と同じ構成要素には同じ番号を付しており、これらの要素は図1の実施の形態と同じ処理を行うため説明を省略する。
次に、本発明の第4実施の形態に係る画像処理装置1701を備える画像表示装置1702の構成について、図17を用いて説明する。図17において、図1と同じ構成要素には同じ番号を付しており、これらの要素は図1の実施の形態と同じ処理を行うため説明を省略する。
本実施の形態と第1の実施形態との違いは、本実施の形態では、送受信部1703を備えた構成になっていることである。画像表示装置1702は、送受信部1703を介して外部ネットワーク1704と接続され、他の通信機器につながっている。送受信部1703は、携帯電話の通信部やケーブル等であり、外部と画像、顔位置情報、顔大きさ情報等を送受信する。
第4実施の形態では、画像表示装置1702で撮像された画像と顔位置情報と顔大きさ情報とを送受信部を通して他の画像表示装置に送信し、他の画像表示装置で撮像された画像と顔位置情報と顔大きさ情報とを受信する。すなわち、ユーザ1の画像表示装置1702に遠隔地にいるユーザ2の撮像画像を表示し、ユーザ2の画像表示装置にユーザ1の撮像画像を表示する。これは、ビデオチャットやテレビ会議システムを実現するための構成となる。ここで、ユーザ1を撮像した画像表示装置1702を第一画像表示装置、ユーザ2を撮像した画像表示装置を第二画像表示装置として区別する。
以下、上記動作の流れを図18に示すフローチャートを用いて説明をする。
まず、ステップS1801において、第一画像処理装置は、撮像部103から第一画像を取り込む。次に、ステップS1802において、顔情報検出部107が、第一画像から第一顔位置情報と第一顔大きさ情報などの顔情報を検出する。次に、ステップS1803において、視線情報算出部108が、顔情報を用いて被写体の第一視線情報を算出する。次に、ステップS1804において、送受信部1703が第一画像と第一顔位置情報と第一顔大きさ情報とを第二画像表示装置に送信する。次に、ステップS1805において、送受信部1703が第二画像と第二顔位置情報と第二顔大きさ情報とを受信する。次に、ステップS1806において、第一画像処理装置1701は記憶部105から顔立体形状テンプレート情報を取得する。次に、ステップS1807において、顔モデル生成部109は、顔モデル生成を行う。顔モデル生成では、第二顔位置情報と第二顔大きさ情報とを基に顔立体形状テンプレート情報を変換し、顔モデルを生成する。次に、ステップS1808において、画像生成部110は、顔モデルと第一視線情報とを用いて、第二画像中の被写体の視線方向と撮像方向とを一致させるように被写体の視線方向を変更した画像を生成する。そして、ステップS1809において、画像生成部110が、生成した画像を表示部104に出力する。以上のようにして、第2実施の形態の画像表示装置1702は動作する。
上述した本発明に係る画像処理装置1701を備える画像表示装置1702によればビデオチャットやテレビ会議などでユーザ1とユーザ2が対話している場合、ユーザ1の視線情報を用いてユーザ2の画像から視線補正画像を生成し、ユーザ2の視線情報を用いてユーザ1の画像から視線補正画像を生成することで、好適な画像を表示することができる。
<第5の実施の形態>
次に、本発明の第5実施の形態に係る画像表示装置の構成について、図19を用いて説明する。図19において、図1と図9と図17と同じ構成要素には同じ番号を付しており、これらの要素は図1と図9と図17の実施の形態と同じ処理を行うため説明を省略する。
次に、本発明の第5実施の形態に係る画像表示装置の構成について、図19を用いて説明する。図19において、図1と図9と図17と同じ構成要素には同じ番号を付しており、これらの要素は図1と図9と図17の実施の形態と同じ処理を行うため説明を省略する。
本実施の形態と第1、2、4の実施の形態との違いは、本実施の形態では、第一画像表示装置1902で撮像された画像から検出された第一顔情報を用いて第一適合度を算出し、第一適合度を用いて第二画像に対して画像変換を施すことである。
以下、上記動作の流れを図20に示すフローチャートを用いて説明をする。
まず、ステップS2001において、第1画像処理装置1901は、撮像部103から第一画像を取り込む。次に、ステップS2002において、顔情報検出部107が、第一画像から第一顔大きさ情報と第一顔位置情報などの顔情報を検出する。次に、ステップS2003において、視線情報算出部108が、顔情報を用いて被写体の第一視線情報を算出する。次に、ステップS2003において、適合度算出部903が、第一適合度を算出する。次に、ステップS2004において、送受信部1703が第一画像と第一顔大きさ情報と第一顔位置情報と第一適合度とを他の画像表示装置に送信する。次に、ステップS2005において、送受信部1703が第二画像と第二顔大きさ情報と第二顔位置情報と第二適合度とを受信する。
次に、ステップS2006において、第二適合度がしきい値以上か否かを判定する。第二適合度がしきい値以上と判定された場合はステップS2007からS2014を実行する。第二適合度がしきい値未満と判定された場合はスキップS2015を実行する。まず、第二適合度がしきい値以上と判定された場合の動作を説明する。ステップS2007において、視線情報算出部108が第一顔位置情報と第一顔大きさ情報とから第一視線情報を算出する。ステップS2008において、画像処理装置1901は記憶部105から顔立体形状テンプレート情報を取得する。次に、ステップS2009において、顔モデル生成部は顔立体形状テンプレート情報と第二顔位置情報と第二顔大きさ情報とを用いて顔モデルを生成する。次に、ステップS2010において、画像生成部110は顔モデルと第一視線情報を用いて視線補正画像を生成する。次に、ステップS2011において、第一適合度がしきい値以上か否かを判定する。第一適合度がしきい値以上と判定された場合は、ステップS2012において、画像生成部は生成した画像を表示部104に出力する。第一適合度がしきい値未満と判定された場合は、ステップS2013において、画像変換部が第一適合度を用いて画像を変換する。次に、ステップS2014において、画像変換部は変換した画像を表示部104に出力する。
次に、第二適合度がしきい値未満と判定された場合の動作を説明する。ステップS2015において、第一適合度がしきい値以上か否かを判定する。第一適合度がしきい値以上と判定された場合は、ステップS2016にて撮像画像を表示部104に出力する。第一適合度がしきい値未満と判定された場合は、ステップS2013において、画像変換部が第一適合度を基に画像を変換する。次に、ステップS2014において、画像変換部は変換した画像を表示部104に出力する。
以上のようにして、第5実施の形態の画像表示装置1902は動作する。
上述した本実施の形態に係る画像処理装置1901を備える画像表示装置1902によればビデオチャットやテレビ会議などでユーザ1とユーザ2が対話している場合、ユーザ2の第二適合度を用いて、画像生成に好適な画像であれば生成画像を、好適でなければ撮像画像を切り替えて表示させることで、不適な画像が表示されることを防ぐことができるため、好適な画像を表示することができる。さらに、ユーザ1の第一適合度を用いて、第二画像に対し画像変換を施すことで、ユーザ1が画像生成に好適な領域に顔を撮像するように誘導することができる。
なお、本発明は、上述した実施の形態によって限定的に解釈されるものではなく、特許請求の範囲に記載した事項の範囲内で、種々の変更が可能であり本発明の技術的範囲に含まれる。
本発明による画像処理装置で動作するプログラムは、本発明に関わる上記実施の形態の機能を実現するように、CPU等を制御するプログラム(コンピュータを機能させるプログラム)であっても良い。そして、これら装置で取り扱われる情報は、その処理時に一時的にRAM(Random Access Memory)に蓄積され、その後、ROM(Read Only Memory)などの各種ROMやHDDに格納され、必要に応じてCPUによって読み出し、修正・書き込みが行われる。
また、図1の各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、CPUなどが実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また、上述した実施の形態における画像処理装置の一部、または全部を典型的には集積回路であるLSIとして実現してもよい。画像処理装置の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。
また、上述の実施の形態において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
本発明は、画像処理装置に利用できる。
101…画像処理装置、102…画像表示装置、103…記撮像部、104…表示部、105…記憶部、106…入出力部、107…顔情報検出部、108…視線情報算出部、109…顔モデル生成部、110…画像生成部、903…適合度算出部、904…画像変換部、1304…視線補正情報算出部、1306…画像生成部、1703…送受信部。
本明細書で引用した全ての刊行物、特許および特許出願をそのまま参考として本明細書にとり入れるものとする。
Claims (5)
- 入力画像から被写体の顔位置情報と顔大きさ情報とを検出する顔情報検出部と、
前記顔位置情報と前記顔大きさ情報とから前記被写体の視線情報を算出する視線情報算出部と、
前記視線情報と、前記顔位置情報、前記顔大きさ情報、および顔の立体形状を表す顔立体形状テンプレート情報に基づく顔モデルとに基づいて、前記被写体の視線方向が前記入力画像を生成する撮像部を向くように顔の向きを補正した画像を生成する画像生成部と、を備え、
前記画像生成部は、前記視線方向が前記撮像部に向くように、前記被写体の顔の向きと、前記視線方向とが異なる画像を生成する、ことを特徴とする画像処理装置。 - 前記視線情報算出部は、前記画像生成部によって生成された画像を表示する表示部と前記撮像部との位置関係と、当該表示部のディスプレイパラメータと、前記顔位置情報と、前記顔大きさ情報と、から前記被写体の前記視線情報を算出することを特徴とする請求項1に記載の画像処理装置。
- 前記顔位置情報と、前記顔大きさ情報と、顔の立体形状を表す顔立体形状テンプレート情報とを用いて前記顔モデルを生成する顔モデル生成部を備え、
前記顔モデル生成部は、顔立体形状テンプレート情報が有する距離ヒストグラムを調整した中間顔モデルを生成し、前記中間顔モデルの縦解像度と横解像度を、検出された顔領域の縦解像度と横解像度が等しくなるように、中間顔モデルを拡大あるいは縮小することを特徴とする請求項1に記載の画像処理装置。 - 前記画像生成部は、前記入力画像に対応する顔の距離データを用いて前記入力画像の各画素における3次元空間での位置を前記視線情報に基づいて変換し、前記被写体の視線方向が撮像部を向くように補正した画像を生成することを特徴とする請求項1に記載の画像処理装置。
- 前記被写体の視線方向が撮像部を向くように補正した画像は、視線情報である被写体の視線方向と撮像部の撮像方向とのX軸方向のずれに応じて、左右方向にずれている角度分を修正し、被写体の視線方向と撮像部の撮像方向とのY軸方向のずれに応じて上下方向にずれている角度分を修正するように、画像上の画素を補正することを特徴とする請求項4に記載の画像処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013196627 | 2013-09-24 | ||
JP2013196627 | 2013-09-24 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015539028A Division JP6499583B2 (ja) | 2013-09-24 | 2014-08-27 | 画像処理装置及び画像表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019075162A true JP2019075162A (ja) | 2019-05-16 |
Family
ID=52742865
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015539028A Expired - Fee Related JP6499583B2 (ja) | 2013-09-24 | 2014-08-27 | 画像処理装置及び画像表示装置 |
JP2017174103A Pending JP2018010677A (ja) | 2013-09-24 | 2017-09-11 | 画像処理装置、画像表示装置およびプログラム |
JP2018248410A Pending JP2019075162A (ja) | 2013-09-24 | 2018-12-28 | 画像処理装置 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015539028A Expired - Fee Related JP6499583B2 (ja) | 2013-09-24 | 2014-08-27 | 画像処理装置及び画像表示装置 |
JP2017174103A Pending JP2018010677A (ja) | 2013-09-24 | 2017-09-11 | 画像処理装置、画像表示装置およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9635311B2 (ja) |
JP (3) | JP6499583B2 (ja) |
WO (1) | WO2015045713A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021039549A (ja) * | 2019-09-03 | 2021-03-11 | 京セラドキュメントソリューションズ株式会社 | 携帯端末装置 |
KR20210038482A (ko) * | 2020-04-17 | 2021-04-07 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 얼굴 융합 모델 트레이닝 방법, 장치 및 전자 기기 |
WO2023063520A1 (ko) * | 2021-10-14 | 2023-04-20 | 삼성전자 주식회사 | 전자 장치 및 전자 장치에서 촬영 기능을 수행하는 방법 |
US11830260B2 (en) | 2020-12-28 | 2023-11-28 | Subaru Corporation | Personal identification system |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9635311B2 (en) * | 2013-09-24 | 2017-04-25 | Sharp Kabushiki Kaisha | Image display apparatus and image processing device |
JP6304999B2 (ja) * | 2013-10-09 | 2018-04-04 | アイシン精機株式会社 | 顔検出装置、方法およびプログラム |
US10503989B2 (en) * | 2015-09-28 | 2019-12-10 | Kyocera Corporation | Image processing apparatus, imaging apparatus, camera monitor system, and image processing method |
CN108701323B (zh) | 2016-03-21 | 2023-11-10 | 宝洁公司 | 用于提供定制的产品推荐的***和方法 |
JP2017188766A (ja) * | 2016-04-05 | 2017-10-12 | レノボ・シンガポール・プライベート・リミテッド | カメラを備える電子機器、撮影映像の補正方法および記憶媒体 |
CN105956022B (zh) * | 2016-04-22 | 2021-04-16 | 腾讯科技(深圳)有限公司 | 电子镜图像处理方法和装置、图像处理方法和装置 |
US10417738B2 (en) | 2017-01-05 | 2019-09-17 | Perfect Corp. | System and method for displaying graphical effects based on determined facial positions |
WO2018222812A1 (en) * | 2017-05-31 | 2018-12-06 | The Procter & Gamble Company | System and method for guiding a user to take a selfie |
JP6849825B2 (ja) | 2017-05-31 | 2021-03-31 | ザ プロクター アンド ギャンブル カンパニーThe Procter & Gamble Company | 見掛け肌年齢を判定するためのシステム及び方法 |
US10867161B2 (en) * | 2017-09-06 | 2020-12-15 | Pixart Imaging Inc. | Auxiliary filtering device for face recognition and starting method for electronic device |
JP6791108B2 (ja) * | 2017-12-11 | 2020-11-25 | オムロン株式会社 | 顔位置検出装置 |
JP2019201360A (ja) * | 2018-05-17 | 2019-11-21 | 住友電気工業株式会社 | 画像処理装置、コンピュータプログラム、ビデオ通話システム、及び画像処理方法 |
US11100615B2 (en) * | 2018-06-15 | 2021-08-24 | Casio Computer Co., Ltd. | Image processing device, image processing method, and image processing program |
CN110858095A (zh) * | 2018-08-23 | 2020-03-03 | 宏碁股份有限公司 | 可由头部操控的电子装置与其操作方法 |
WO2020110811A1 (ja) * | 2018-11-27 | 2020-06-04 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN111327863A (zh) * | 2018-12-17 | 2020-06-23 | 中移(杭州)信息技术有限公司 | 一种视频通话处理方法及装置 |
JP7136234B2 (ja) * | 2019-01-17 | 2022-09-13 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
US20220124407A1 (en) * | 2020-10-21 | 2022-04-21 | Plantronics, Inc. | Content rated data stream filtering |
CN112733795B (zh) * | 2021-01-22 | 2022-10-11 | 腾讯科技(深圳)有限公司 | 人脸图像的视线矫正方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005092657A (ja) * | 2003-09-19 | 2005-04-07 | Hitachi Ltd | 画像表示装置および画像表示方法 |
JP2012227830A (ja) * | 2011-04-21 | 2012-11-15 | Canon Inc | 情報処理装置、その処理方法、プログラム及び撮像装置 |
JPWO2015045713A1 (ja) * | 2013-09-24 | 2017-03-09 | シャープ株式会社 | 画像処理装置及び画像表示装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3032414B2 (ja) * | 1993-10-29 | 2000-04-17 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
JP2004326179A (ja) * | 2003-04-21 | 2004-11-18 | Sharp Corp | 画像処理装置、画像処理方法および画像処理プログラムならびに画像処理プログラムを記録した記録媒体 |
JP4461739B2 (ja) * | 2003-08-18 | 2010-05-12 | ソニー株式会社 | 撮像装置 |
JP4216824B2 (ja) * | 2005-03-07 | 2009-01-28 | 株式会社東芝 | 3次元モデル生成装置、3次元モデル生成方法および3次元モデル生成プログラム |
JP4572815B2 (ja) * | 2005-11-18 | 2010-11-04 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
JP4765732B2 (ja) * | 2006-04-06 | 2011-09-07 | オムロン株式会社 | 動画編集装置 |
JP2008219744A (ja) * | 2007-03-07 | 2008-09-18 | Ntt Docomo Inc | テレビ電話機能付き端末装置及びテレビ電話方法 |
JP2009246408A (ja) | 2008-03-28 | 2009-10-22 | Toshiba Corp | 対話装置、画像処理モジュール、画像処理方法およびプログラム |
JP4903888B2 (ja) * | 2010-08-09 | 2012-03-28 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示装置、画像表示方法、および画像補正方法 |
JP5601142B2 (ja) * | 2010-10-20 | 2014-10-08 | カシオ計算機株式会社 | 画像表示装置、画像表示方法及びプログラム |
JP5045827B2 (ja) * | 2011-02-01 | 2012-10-10 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
EP2497545B1 (en) * | 2011-03-08 | 2019-08-07 | Nintendo Co., Ltd. | Information processing program, information processing system, and information processing method |
WO2012138355A1 (en) * | 2011-04-08 | 2012-10-11 | Hewlett-Packard Development Company, L. P. | System and method of modifying an image |
WO2013014872A1 (ja) * | 2011-07-25 | 2013-01-31 | パナソニック株式会社 | 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体 |
JP5839220B2 (ja) * | 2011-07-28 | 2016-01-06 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2013183421A (ja) * | 2012-03-05 | 2013-09-12 | Hitachi Consumer Electronics Co Ltd | 送受信端末、送信端末、受信端末及び送受信方法 |
US8957943B2 (en) * | 2012-07-02 | 2015-02-17 | Bby Solutions, Inc. | Gaze direction adjustment for video calls and meetings |
-
2014
- 2014-08-27 US US15/021,968 patent/US9635311B2/en active Active
- 2014-08-27 JP JP2015539028A patent/JP6499583B2/ja not_active Expired - Fee Related
- 2014-08-27 WO PCT/JP2014/072359 patent/WO2015045713A1/ja active Application Filing
-
2017
- 2017-09-11 JP JP2017174103A patent/JP2018010677A/ja active Pending
-
2018
- 2018-12-28 JP JP2018248410A patent/JP2019075162A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005092657A (ja) * | 2003-09-19 | 2005-04-07 | Hitachi Ltd | 画像表示装置および画像表示方法 |
JP2012227830A (ja) * | 2011-04-21 | 2012-11-15 | Canon Inc | 情報処理装置、その処理方法、プログラム及び撮像装置 |
JPWO2015045713A1 (ja) * | 2013-09-24 | 2017-03-09 | シャープ株式会社 | 画像処理装置及び画像表示装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021039549A (ja) * | 2019-09-03 | 2021-03-11 | 京セラドキュメントソリューションズ株式会社 | 携帯端末装置 |
KR20210038482A (ko) * | 2020-04-17 | 2021-04-07 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 얼굴 융합 모델 트레이닝 방법, 장치 및 전자 기기 |
KR102410328B1 (ko) | 2020-04-17 | 2022-06-22 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 얼굴 융합 모델 트레이닝 방법, 장치 및 전자 기기 |
US11830260B2 (en) | 2020-12-28 | 2023-11-28 | Subaru Corporation | Personal identification system |
WO2023063520A1 (ko) * | 2021-10-14 | 2023-04-20 | 삼성전자 주식회사 | 전자 장치 및 전자 장치에서 촬영 기능을 수행하는 방법 |
Also Published As
Publication number | Publication date |
---|---|
US9635311B2 (en) | 2017-04-25 |
JP2018010677A (ja) | 2018-01-18 |
WO2015045713A1 (ja) | 2015-04-02 |
JPWO2015045713A1 (ja) | 2017-03-09 |
JP6499583B2 (ja) | 2019-04-10 |
US20160255303A1 (en) | 2016-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019075162A (ja) | 画像処理装置 | |
CN106462937B (zh) | 图像处理装置以及图像显示装置 | |
CN104584531B (zh) | 图像处理装置以及图像显示装置 | |
US10887548B2 (en) | Scaling image of speaker's face based on distance of face and size of display | |
US9542755B2 (en) | Image processor and image processing method | |
WO2014083721A1 (ja) | 情報処理装置および情報処理方法 | |
CN107958439B (zh) | 图像处理方法及装置 | |
US10956733B2 (en) | Image processing apparatus and image processing method | |
WO2022110591A1 (zh) | 基于连麦直播的直播画面处理方法、装置及电子设备 | |
US20120236180A1 (en) | Image adjustment method and electronics system using the same | |
KR101642402B1 (ko) | 촬영 구도를 유도하는 디지털 영상 촬영 장치 및 방법 | |
CN109325908B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN111353336B (zh) | 图像处理方法、装置及设备 | |
JP2020042206A (ja) | 画像表示制御装置および画像表示制御用プログラム | |
JPWO2018189880A1 (ja) | 情報処理装置、情報処理システム、および画像処理方法 | |
CN115601316A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
JP6103942B2 (ja) | 画像データ処理装置及び画像データ処理プログラム | |
JP2017130046A (ja) | 視線一致顔画像合成方法、テレビ会議システム、及びプログラム | |
WO2023206475A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
JP2023551793A (ja) | ジェスチャ認識を使用してオーディオ操向するための方法及びデバイス | |
WO2023063940A1 (en) | Region of interest cropped images | |
CN114267075A (zh) | 人脸识别方法、人脸交互方法、装置以及电子设备 | |
CN116320726A (zh) | 美颜参数调整方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191217 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200616 |