JP6198530B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP6198530B2 JP6198530B2 JP2013180720A JP2013180720A JP6198530B2 JP 6198530 B2 JP6198530 B2 JP 6198530B2 JP 2013180720 A JP2013180720 A JP 2013180720A JP 2013180720 A JP2013180720 A JP 2013180720A JP 6198530 B2 JP6198530 B2 JP 6198530B2
- Authority
- JP
- Japan
- Prior art keywords
- condition
- image
- image processing
- unit
- heart rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、画像処理装置に関する。 The present invention relates to an image processing apparatus.
自分撮りモードが設定されている腕時計型のカメラを用いて、使用者の心拍数が予め定められた心拍数より上昇した場合に撮像する装置が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００４−３６１７０８号公報
An apparatus is known that uses a wristwatch-type camera in which a self-portrait mode is set to capture an image when the user's heart rate rises above a predetermined heart rate (see, for example, Patent Document 1).
[Prior art documents]
[Patent Literature]
[Patent Document 1] Japanese Patent Application Laid-Open No. 2004-361708
しかしながら、上記装置は、恐れなど不快な場合であっても使用者の心拍数が上昇する場合があるので、使用者が撮影したいときに撮影できる装置ではなかった。 However, since the user's heart rate may increase even when the device is uncomfortable, such as fear, the device is not a device that can shoot when the user wants to shoot.
本発明の第１の態様においては、「かわいい」と感じた場合に生体に生じる心拍の条件を予め格納する条件格納部と、生体からの心拍に関する心拍情報を取得し、取得した前記心拍情報に含まれる心拍が前記条件格納部に格納されている条件を満たすか否かを判断する条件判断部と、条件判断部により条件を満たすと判断された場合に、画像に対する処理を実行する画像処理部とを備える画像処理装置を提供する。 In the first aspect of the present invention, a condition storage unit that stores in advance a heart rate condition generated in the living body when feeling “cute”, heart rate information related to the heart rate from the living body is acquired, and the acquired heart rate information is included in the acquired heart rate information. A condition determining unit that determines whether or not a heartbeat included satisfies a condition stored in the condition storage unit; and an image processing unit that executes processing on an image when the condition determining unit determines that the condition is satisfied An image processing apparatus is provided.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図１は、実験システム１００の模式図を示す。実験システム１００は、映像提示用コンピュータ１０２と、プロジェクター１０４と、１００インチスクリーン１０６と、計測用コンピュータ１０８と、生体計測装置１１０とから構成される。図２は、心電図の一例を示す。図１、図２を用いて、人間の「かわいい」という感性と心拍との関係について説明する。
FIG. 1 shows a schematic diagram of an
実験システム１００において、被験者１１２には、生体計測装置１１０としての心電計および脈拍計が取付されている。映像提示用コンピュータ１０２に蓄積された画像をプロジェクター１０４を用いて、１００インチスクリーン１０６に投写し、画像を提示した際の被験者１１２の生体反応を計測した。また、被験者１１２に、皮膚電気反応（Ｇａｌｖａｎｉｃ Ｓｋｉｎ Ｒｅｓｐｏｎｓｅ：ＧＳＲ）、呼吸数、呼吸の大きさ、筋電位、発汗、血圧、脳波計を設置して、同様に画像を提示した際の被験者１１２の生体反応を計測した。上記計測の結果より、「かわいい」という感性検知は主に、心電または脈拍によってなされることが判明している。
In the
心電図は、単発では図２の左右何れか一方に示すような波形をしており、波形に各部に名称がつけられている。スパイク状に高い電位を発生するＲ波は心臓の心室が収縮するときの電位であり、信号強度が高いので検知がしやすい利点がある。ここで、連続する心拍におけるＲ波の時間間隔をＲ−Ｒ間隔と呼ぶが、Ｒ−Ｒ間隔は脈拍と同期しているので、心電計だけでなく脈拍計でも検出できる。なお、ここで定義した「心拍」「Ｒ−Ｒ間隔」は適当な測定時間における平均値であるので、正確には「平均心拍」「平均Ｒ−Ｒ間隔」であるが、簡略のため本明細書では今後「心拍」「Ｒ−Ｒ間隔」の用語を「平均心拍」「平均Ｒ−Ｒ間隔」の意味で用いる。 The electrocardiogram has a waveform as shown on the left or right side of FIG. 2 in a single shot, and names are given to the respective parts of the waveform. The R wave that generates a spike-like high potential is a potential when the heart ventricle contracts, and has an advantage that it is easy to detect because the signal intensity is high. Here, although the time interval of the R wave in the continuous heartbeat is called an RR interval, since the RR interval is synchronized with the pulse, it can be detected not only by the electrocardiograph but also by the pulse meter. Note that the “heartbeat” and “RR interval” defined here are average values at an appropriate measurement time, and thus are exactly “average heartbeat” and “average RR interval”. In the following, the terms “heart rate” and “RR interval” will be used in the meaning of “average heart rate” and “average RR interval”.
「かわいい」という感性を検知する手法として、計測開始後から心電図波形を計測し、１波形ごとにＲ波の発生時刻をミリ秒単位で計測する。ここで、計測開始後ｎ回目の心電図波形におけるＲ波の発生時刻をＴｎ（ｍｓｅｃ）、ｎ＋１回目の心電図波形におけるＲ波の発生時刻をＴｎ＋１（ｍｓｅｃ）とすると、ｎ回目のＲ−Ｒ間隔（ｍｓｅｃ）は次のように算出される。 As a technique for detecting the sensitivity of “cute”, an electrocardiogram waveform is measured from the start of measurement, and the R wave generation time is measured in milliseconds for each waveform. Here, assuming that the generation time of the R wave in the nth electrocardiogram waveform after the start of measurement is Tn (msec) and the generation time of the R wave in the n + 1 electrocardiogram waveform is Tn + 1 (msec), the nth RR interval. (Msec) is calculated as follows.
Ｒ−Ｒ＝Ｔｎ＋１−Ｔｎ R−R = Tn + 1 −Tn
被験者の身体的・精神的状態が一定であれば、Ｒ−Ｒ間隔も一定であるが、実験システム１００において、被験者１１２が１００インチスクリーン１０６に提示された画像に関して「かわいい」と感じる感性反応を起こした場合に、心拍数は増加しＲ−Ｒ間隔は短くなる。したがって、Ｒ−Ｒ間隔の変化量を測定することにより、被験者の「かわいい」と感じる感情・感性反応を定量的に検出できる。
If the subject's physical / mental state is constant, the RR interval is also constant, but in the
このとき、Ｒ−Ｒ間隔の変化量はＲ−Ｒ間隔差分（ｍｓｅｃ）として以下のように定義される。ここで、Ｒ−Ｒｎはｎ回目のＲ−Ｒ間隔、Ｒ−Ｒｒｅｆは基準となるＲ−Ｒ間隔で、何も画像を見ていない安静時、あるいはランダムなパターンなどの無意味な画像を見ている場合のＲ−Ｒ間隔で、事前に測定しておく。 At this time, the change amount of the RR interval is defined as RR interval difference (msec) as follows. Here, R-R n is the n-th R-R interval, in R-R interval as a R-Rref is a reference, at rest nothing viewing the image, or a meaningless image such as a random pattern Measure in advance at the RR interval when viewing.
ΔＲ−Ｒ＝（Ｒ−Ｒｎ）−（Ｒ−Ｒｒｅｆ） ΔR−R = (R−R n ) − (R−Rref)
日常生活における心拍数は、成人の場合１分間に６０〜１００回程度で、Ｒ−Ｒ間隔は１０〜１７ｍｓｅｃ程度である。非特許文献１および２に記載のデータから算出すると、被験者が「かわいい」と感じた場合のΔＲ−Ｒはマイナスの方向に変動し−０．４〜−５ｍｓｅｃ程度の変化が発生する。したがってΔＲ−Ｒの検出によって、「かわいい」と感じた場合とそうでない場合は明瞭に区別が可能であり、かつ「かわいい」と感じる強さは、ΔＲ−Ｒの絶対値に比例する、あるいは正の相関があると考えることができる。
The heart rate in daily life is about 60 to 100 times per minute for an adult, and the RR interval is about 10 to 17 msec. When calculated from the data described in
すなわち、上記の結果は被験者１１２の心拍測定により、見ている画像に対する被験者１１２の「かわいい」と感じる感性反応を定量検出できる。本実施形態は、このような知見に基づいてなされており、デジタルスチルカメラ・ビデオカメラにおいて静止画・動画を撮影する場合、および、画像に対する処理、例えば、分類・保存・検索・再利用をする場合に、システムとアルゴリズムにユーザーの「かわいい」と感じる感性反応を、定量的に反映させる。 That is, the above results can be quantitatively detected from the heartbeat measurement of the subject 112 and the emotional response of the subject 112 feeling “cute” to the image being viewed. The present embodiment is based on such knowledge. When a still image / moving image is shot with a digital still camera / video camera, and processing for the image, for example, classification / storage / search / reuse is performed. In some cases, the system and algorithms are used to quantitatively reflect the emotional response that the user feels “cute”.
一方、被験者１１２が「怖い」と感じた場合においても、ΔＲ−Ｒがマイナス方向に変動する。したがって、ΔＲ−Ｒがマイナス方向に変動した場合において、被験者１１２が「かわいい」と感じた場合と「怖い」と感じた場合とを切り分けて検知することが求められる。 On the other hand, even when the subject 112 feels “scary”, ΔR−R varies in the negative direction. Therefore, when ΔR-R fluctuates in the minus direction, it is required to detect separately when the subject 112 feels “cute” and when he / she feels “scary”.
図３は、Ｒ−Ｒ間隔と回数との関係をグラフ形式で示した図である。図３には、３つのプロファイル１５２、１５４、１５６が示されており、プロファイル１５２は、Ｒ−Ｒ間隔が減少する前の状態、プロファイル１５４、１５６は、Ｒ−Ｒ間隔が減少した後の状態を示す。それぞれのプロファイルは、予め定められた心拍回数におけるそれぞれのＲ−Ｒ間隔値ごとの回数をプロットしたプロファイルであり、これらのプロファイルは、Ｒ−Ｒ間隔の分散状態を示している。したがって、プロファイルがシャープなピーク形状である場合、Ｒ−Ｒ間隔の分散は小さく、プロファイルがブロードなピーク形状である場合、Ｒ−Ｒ間隔の分散は大きい。
FIG. 3 is a graph showing the relationship between the RR interval and the number of times. FIG. 3 shows three
Ｒ−Ｒ間隔の分散は、ネガティブ感情、ポジティブ感情に関連があり、Ｒ−Ｒ間隔の分散が小さいと、被験者１１２は、ポジティブ感情、すなわち「かわいい」と感じている場合が多いと予測される。一方、Ｒ−Ｒ間隔の分散が大きいと被験者１１２はネガティブ感情、例えば「怖い」と感じていることが予測される。したがって、Ｒ−Ｒ間隔の分散値を実験的に計測することによって、被験者１１２の「かわいい」と「怖い」とを切り分けて検知することができる。なお、Ｒ−Ｒ間隔の分散状態は標準偏差で比較できる。したがって、予め、被験者１１２に「かわいい」画像と、「怖い」画像を交互に表示させて、「かわいい」と「怖い」を切り分けることができる標準偏差を条件として設定しておき、算出された標準偏差と、条件として設定された標準偏差とを比較することで、被験者１１２の「かわいい」と感じる感性反応を検知できる。 The variance of the RR interval is related to negative emotions and positive emotions. When the variance of the RR interval is small, it is predicted that the subject 112 often feels positive emotion, that is, “cute”. . On the other hand, when the variance of the RR interval is large, it is predicted that the subject 112 feels negative emotion, for example, “scary”. Therefore, by experimentally measuring the variance value of the RR interval, “cute” and “scary” of the subject 112 can be separated and detected. In addition, the dispersion state of the RR interval can be compared with the standard deviation. Therefore, the standard deviation calculated by setting the standard deviation that allows the subject 112 to alternately display the “cute” image and the “scary” image and separate the “cute” and “scary” images as a condition in advance. By comparing the deviation with the standard deviation set as a condition, it is possible to detect the emotional reaction that the subject 112 feels “cute”.
なお、ここで、Ｒ−Ｒ間隔の分散に関しては、分散の分散を考慮する場合もありうる。これは、段落００１０に記載した通り、Ｒ−Ｒ間隔そのものが平均値で分散を持ちうるので、複数のＲ−Ｒ間隔の取り扱いに関しては、個々の平均Ｒ−Ｒ間隔の分散の分散を考慮する必要があるからである。 Here, regarding dispersion of the RR interval, dispersion of dispersion may be considered. This is because, as described in paragraph 0010, the RR interval itself may have an average variance, and therefore, regarding the handling of a plurality of RR intervals, the variance of individual average RR intervals is considered. It is necessary.
実際に安静状態と「かわいい」画像を提示した状態とで心拍数をそれぞれ測定した結果、安静状態においては、心拍のＲ−Ｒ間隔が１７．７ｍｓｅｃであったのに対し、「かわいい」画像を提示した状態においては、心拍のＲ−Ｒ間隔が１６．５ｍｓｅｃであり、Ｒ−Ｒ間隔は１．２ｍｓｅｃ程度減少した。なお、上記測定における標準偏差は、安静状態で０．９６ｍｓｅｃ、画像提示状態で１．２８ｍｓｅｃであった。 As a result of actually measuring the heart rate in the resting state and the state in which the “cute” image was presented, the heart rate RR interval was 17.7 msec in the resting state, whereas the “cute” image was In the presented state, the RR interval of the heartbeat was 16.5 msec, and the RR interval decreased by about 1.2 msec. The standard deviation in the above measurement was 0.96 msec in a resting state and 1.28 msec in an image presenting state.
図４は、本実施形態の画像処理装置１２の一例を説明する図である。画像処理装置１２は、心拍計１４から使用者１０の生体からの心拍に関する心拍情報を取得する。画像処理装置１２は、取得した心拍情報が、画像処理装置１２に格納された「かわいい」と感じた場合に生じる心拍の条件を満足するかどうかを判断する。画像処理装置１２は、取得した心拍情報が、心拍の条件を満足すると判断した場合、被写界を撮像して画像を生成する。なお、本実施形態において、被写界の撮像は、画像処理装置１２における画像に対する処理の一例である。
FIG. 4 is a diagram illustrating an example of the
図５は、画像処理装置１８を説明する図である。画像処理装置１８は、使用者１６の耳部に装着されて使用される。画像処理装置１８は、使用者１６の心拍を測定する心拍計を画像処理装置１８に内蔵し、使用者１６のこめかみとの密着部分に心拍計が配置されている。画像処理装置１８においても、取得した心拍情報が、「かわいい」と感じた場合に生じる心拍の条件を満足すると判断した場合、画像処理装置１８は、被写界を撮像して画像を生成する。
FIG. 5 is a diagram illustrating the
図６は、画像処理装置１２の機能ブロック図を示す。画像処理装置１２は、撮影レンズ２０と、撮像素子２２と、駆動部２４と、Ａ／Ｄ変換回路２８と、メモリ３０と、制御部３２と、メモリカードＩＦ３４と、メモリカード３６と、ＬＣＤ駆動回路３８と、表示部４０と、ＡＦセンサ４２と、操作部４４と、感性判断部５０とを有する。また、感性判断部５０は、条件格納部５２と、条件判断部５４と、画像処理部５６とを有する。
FIG. 6 shows a functional block diagram of the
撮像素子２２は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子２２は、二次元的に複数の光電変換素子が配された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。
The
駆動部２４は、撮像素子２２の光電変換素子からの画像信号を読み取るべく撮像素子２２を駆動する。画像処理装置１２は、駆動部２４によりタイミング制御されて、受光面上に結像された被写界を画像信号に変換してＡ／Ｄ変換回路２８へ出力する。Ａ／Ｄ変換回路２８は、撮像素子２２が出力する画像信号をデジタル画像信号に変換してメモリ３０へ出力する。
The
制御部３２は、メモリ３０をワークスペースとして種々の画像処理を施して、画像データを生成する。制御部３２によって生成された画像データは、ＬＣＤ駆動回路３８により表示信号に変換され、表示部４０に表示される。また、メモリカードＩＦ３４に装着されているメモリカード３６に記録される。
The
ＡＦセンサ４２は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。撮像シーケンスに付随するＡＦ、ＡＥ等の各種動作は、制御部３２に制御されて実行される。例えば、制御部３２は、ＡＦセンサ４２の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。なお、撮像素子２２をＡＦセンサ４２の代わりに用いてもよく、その場合には別個のＡＦセンサ４２は設けなくてよい。
The
条件格納部５２は、「かわいい」と感じた場合に生体に生じる心拍の条件として、心拍のΔＲ−Ｒを格納する。「かわいい」と感じた場合に生体に生じる心拍のΔＲ−Ｒは、使用者１０において予め実験的に測定されて条件格納部５２に格納される。さらに、条件格納部５２には、使用者１０の「かわいい」の度合いを複数に分け、それぞれの「かわいい」度合いに対応つけたΔＲ−Ｒの絶対値の範囲も、条件格納部５２に格納されている。本実施形態において、使用者１０の「かわいい」度合いを五つに分け、それぞれの「かわいい」の度合いに対応したΔＲ−Ｒの絶対値の範囲についても予め実験的に求めて、条件格納部５２に格納されている。
The
条件判断部５４は、心拍計１４から使用者１０の心拍情報を取得する。心拍情報とは、心拍が起きた時間の情報である。条件判断部５４は、取得した心拍情報から、ΔＲ−Ｒを算出する。条件判断部５４は、算出したΔＲ−Ｒが、条件格納部５２に格納されている条件を満たすか否かを判断する。当該条件は、心拍のＲ−Ｒ間隔であって、安静時におけるＲ−Ｒ間隔を減じた値が予め定められた閾値より小さいことである。画像処理部５６は、条件判断部５４により当該条件を満たすと判断された場合に、制御部３２へ撮像信号を出力する。制御部３２は、撮像信号を取得すると、被写界を撮像して画像データを生成する。
The
操作部４４は、使用者１０からの撮像指示を受け付けて、制御部３２に当該撮像信号を入力する。制御部３２は、撮像信号を取得すると、被写界を撮像して画像データを生成する。このように、画像処理装置１２は、画像処理部５６から撮像信号が入力されることによって被写界を撮像するとともに、操作部４４から操作指示が入力されることによっても被写界を撮像できる。
The operation unit 44 receives an imaging instruction from the
図７は、画像処理装置１２の画像処理の一例を説明するフローチャートである。図７に示すフローチャートは、画像処理装置１２の電源が入れられ、撮像ができる状態になった場合に開始する。
FIG. 7 is a flowchart illustrating an example of image processing of the
条件判断部５４は、心拍計１４から心拍情報を取得する。条件判断部５４は、心拍情報として心拍が起きた時間の情報を取得する（Ｓ１０１）。条件判断部５４は、心拍情報を取得すると、一つ前に取得した心拍情報との時間の差をとることにより、Ｒ−Ｒ間隔を算出する。条件判断部５４は予め安静時に測定したＲ−ＲＲｅｆを上記算出値から減ずることによって、ΔＲ−Ｒを算出する。
The
条件判断部５４は、算出したΔＲ−Ｒと、条件格納部５２に格納されているΔＲ−Ｒと比較して、当該条件を満足するか判断する（Ｓ１０２）。本実施形態において条件判断部５４は、算出したΔＲ−Ｒの値が負である場合に、条件判断部５４は、取得した心拍情報が条件を満足すると判断する。
The
なお、条件判断部５４の判断には、単純な閾値比較だけでなく、「ΔＲ−Ｒの時系列データから多次元の特徴量を抽出して、機械学習によって判断する」といった処理も包含される。これは、Ｒ−Ｒ間隔の測定毎に得られた単発のΔＲ−Ｒのみでなく、時系列的に算出・記録された複数のΔＲ−Ｒのデータ列を活用することにより、精度の高い判断方法を実現することができるからである。
The determination by the
条件判断部５４は、取得した心拍情報が条件を満足すると判断した場合（Ｓ１０２：Ｙｅｓ）、条件判断部５４は、制御部３２に撮像信号を出力する（Ｓ１０３）。一方、条件判断部５４は、取得した心拍情報が条件を満足すると判断しない場合（Ｓ１０２：Ｎｏ）、条件判断部５４は、処理をステップＳ１０１に戻す。
When the
制御部３２は、撮像条件を設定する（Ｓ１０４）。撮像条件の設定の一例は、ＡＦセンサ４２の検出信号を解析して、撮影レンズ２０の合焦制御を実行することである。ステップＳ１０４に続いて、制御部３２は、駆動部２４を用いて撮像素子２２を駆動して、被写界を撮像して、画像データを生成する（Ｓ１０５）。
The
条件判断部５４は、使用者１０が感じている「かわいい」を五段階で示す番号からなる感性情報を作成する（Ｓ１０６）。条件判断部５４は、ΔＲ−Ｒの絶対値を算出する。条件判断部５４は、算出したΔＲ−Ｒが、条件格納部５２に格納された「かわいい」の度合いに対応したΔＲ−Ｒ絶対値のどの範囲内となるか検知して、「かわいい」を五段階で示す番号を検出する。条件判断部５４は、検出した番号に基づいて、「かわいい」を五段階で示す感性情報を作成する。条件判断部５４は、感性情報を作成して、制御部３２へ出力する。
The
制御部３２は、作成した感性情報を生成した画像データに記録する。制御部３２は、例えば、作成した感性情報をＥｘｉｆ情報として、画像データに記録して、当該画像データをメモリカードＩＦ３４に装着されているメモリカード３６に記録する（Ｓ１０８）。
The
制御部３２は、使用者１０から終了指示があったか否かを判断する（Ｓ１０９）。制御部３２は、使用者１０から終了指示があったと判断した場合（Ｓ１０９：Ｙｅｓ）、画像処理を終了する。一方、使用者１０から終了指示があったと判断しない場合（Ｓ１０９：Ｎｏ）、制御部３２は、処理をステップＳ１０１に戻す。
The
使用者１０が自ら意識して「かわいい」と判断した場合にシャッターを押す場合、本来の無意識的な感性反応に対して年齢・性別といった社会的制約によって意識的な抑圧がかかってしまい、適切な操作ができない場合がある。以上説明したような、画像処理装置１２は、使用者１０の「かわいい」という感性を検出して、被写界を撮像できる。これにより、使用者１０は、年齢・性別といった社会的制約にかかわらず、「かわいい」と判断した画像を取得できる。
When the
また、カメラは、表示部に表示された画像をユーザーが視認し、適切なタイミングで操作部の操作を行って撮像するが、撮像後の画像が使用者１０の意図に沿っていないことが多々発生する。画像処理装置１２を用いることで、使用者１０の「かわいい」という感性を検出して、被写界を撮像できるので、使用者１０の意図に沿った撮像を行うことができる。
In addition, the camera allows the user to visually recognize the image displayed on the display unit, and operates the operation unit at an appropriate timing to capture the image. However, the image after the image capture often does not conform to the intention of the
本実施形態において、ΔＲ−Ｒを条件として用いた例を示したが、ΔＲ−Ｒに加えて、心拍のＲ−Ｒ間隔であって、安静時におけるＲ−Ｒ間隔を減じた値の分散が予め定められた閾値より小さいこと条件としてもよい。 In the present embodiment, an example in which ΔR-R is used as a condition has been shown. However, in addition to ΔR-R, there is a variance of a value obtained by reducing the RR interval of the heartbeat, which is the RR interval of the heartbeat. It may be a condition that it is smaller than a predetermined threshold.
なお、Ｒ−Ｒ間隔の分散は、測定するのに３０秒程度かかるので、条件を満足するか否かを判断するのに３０秒以上時間がかかる場合がある。その場合には、ΔＲ−Ｒにおいて条件を満足した場合に撮像信号を出力して撮像を行い、Ｒ−Ｒ間隔の分散の結果を事後的に反映させてもよい。すなわち、Ｒ−Ｒ間隔の分散が条件格納部５２に格納された条件を満足しなかった場合は、当該撮像により撮像された画像を事後的に消去してもよい。これにより、使用者１０の「かわいい」と「怖い」を切り分けて、使用者１０の「かわいい」と感じる感性反応を検知でき、使用者１０が「かわいい」と感じた画像を画像処理装置１２に残すことができる。
The dispersion of the RR interval takes about 30 seconds to measure, so it may take 30 seconds or more to determine whether or not the condition is satisfied. In that case, when the condition in ΔR−R is satisfied, an imaging signal may be output to perform imaging, and the result of dispersion of the R−R interval may be reflected afterwards. In other words, when the distribution of the RR interval does not satisfy the condition stored in the
また、Ｒ−Ｒ間隔の分散に代えて、心拍の高周波成分と低周波成分との比を条件として設定してもよい。この場合、心拍における変動時系列データを取得して、当該時系列データを構成している周期的な波をその構成割合とともに表すパワースペクトル密度を算出する。心拍における変動時系列データは、高周波数成分（０．１５Ｈｚから０．４０Ｈｚまでの領域：ＨＦ成分という場合がある）と低周波数成分（０．０５Ｈｚから０．１５Ｈｚまでの領域：ＬＦ成分という場合がある）に分離できる。分離されたＨＦ成分とＬＦ成分の積分値をとり、ＨＦ成分の積分値とＬＦ成分の積分値との比を算出する。ＨＦ成分の積分値とＬＦ成分の積分値との比は、ストレス指標を表すといわれており、ＨＦ成分の積分値とＬＦ成分の積分値との比によってもネガティブ感情、ポジティブ感情を切り分けることができる。 Further, instead of the variance of the RR interval, a ratio between the high frequency component and the low frequency component of the heartbeat may be set as a condition. In this case, the fluctuation time-series data in the heartbeat is acquired, and the power spectrum density that represents the periodic wave constituting the time-series data together with the component ratio is calculated. The fluctuation time-series data in the heartbeat includes a high frequency component (region from 0.15 Hz to 0.40 Hz: sometimes referred to as HF component) and a low frequency component (region from 0.05 Hz to 0.15 Hz: LF component). Can be separated). The integrated value of the separated HF component and LF component is taken, and the ratio between the integrated value of the HF component and the integrated value of the LF component is calculated. The ratio between the integral value of the HF component and the integral value of the LF component is said to represent a stress index, and negative emotions and positive emotions can be separated by the ratio of the integral value of the HF component and the integral value of the LF component. it can.
なお、心拍の高周波成分と低周波成分との比を条件として設定する場合においても、３０秒程度、心拍の変動時系列データを取得することになり、条件を満足するか否かの判断に時間がかかる場合がある。その場合には、心拍の高周波成分と低周波成分との比の結果を事後的に反映させてもよい。 Even when the ratio between the high-frequency component and the low-frequency component of the heartbeat is set as a condition, heartbeat fluctuation time-series data is acquired for about 30 seconds, and it takes time to determine whether or not the condition is satisfied. May take. In that case, the result of the ratio between the high-frequency component and the low-frequency component of the heartbeat may be reflected afterwards.
また、本実施形態において、ΔＲ−Ｒを条件として用いた例を示したが、ΔＲ−Ｒに代えて、Ｒ−Ｒ間隔の時間微分値を用いてもよい。その場合、条件格納部５２に格納される条件は、微分値が負であって、絶対値が予め定められた閾値より大きいこととなる。なお、この場合においては、Ｒ−Ｒ間隔のある計測回数とその次の計測によって定義されるＲ−Ｒ間隔の時間微分値での判断に加えて、Ｒ−Ｒ間隔の時系列データを用いた判断も適用できる。この場合の具体的な処理としては、多数の時系列データを判断に使用する、ＡＲ（ＡｕｔｏＲｅｇｒｅｓｓｉｖｅ：自己回帰）モデル、またはニューラルネットワーク、またはテンプレートのマッチングなどの複数の手法から、何れか一つ、あるいは複数の組み合わせなど適宜に選択して利用することが可能となる。
Moreover, in this embodiment, although the example using (DELTA) R-R as a condition was shown, it may replace with (DELTA) R-R and may use the time differential value of RR interval. In this case, the condition stored in the
また、本実施形態において、条件格納部５２は、「かわいい」と感じた場合に生体に生じる、心拍とは異なる生体反応の条件をさらに予め格納してもよい。この場合、条件判断部は、心拍情報に加えて、生体反応に関する反応情報を生体から取得して、心拍と生体反応の条件を満たすか否かを判断する。なお、生体反応の一例は、使用者１０の表情であり、使用者１０の表情が笑顔であると判断されれば、ポジティブ感情であり、使用者１０の表情が恐怖で引きつっていると判断されれば、ネガティブ感情であると判断できる。したがって、使用者１０の表情から、ネガティブ感情、ポジティブ感情を切り分けることができる。
Further, in the present embodiment, the
図８は、表示部４０に表示される画像の一例を示す。表示部４０には、被写界に存在する被写体４１と、撮像条件４３と、感性表示４５とが表示される。図８に示した例において、感性表示４５は、「カワイイ度」の文字と「ハート」の記号の数で表示される。
FIG. 8 shows an example of an image displayed on the
制御部３２は、画像データのＥｘｉｆ情報から感性情報を読み出す。制御部３２は、「かわいい」の五段階に値に対応さえた数の「ハート」の記号を表示した画像データを作成する。制御部３２によって生成された「ハート」の記号の数を表示した画像データは、ＬＣＤ駆動回路３８により表示信号に変換され、表示部４０に被写界を表示した画像に重畳して感性表示４５を表示させる。
The
このように、表示部４０に、「ハート」の記号の数を表示した画像データを表示することによって、使用者１０は、当該表示により使用者１０が「かわいい」と感じていることを知ることができる。これにより、画像処理部５６から撮像信号を出力しない場合であっても、使用者１０の「かわいい」という感性を使用者１０は表示部４０を通じて知ることができ、被写界を撮像できる。
Thus, by displaying the image data indicating the number of “heart” symbols on the
図９は、別の画像処理装置６２を説明する図である。使用者６０は、画像処理装置６２を用いて、表示部６４に表示された画像のパラメータを変更して画像を加工する。条件判断部５４は、心拍計１４から使用者６０の生体からの心拍に関する心拍情報を取得する。条件判断部５４は、取得した心拍情報から、「かわいい」度合いを示す感性情報を作成して、画像処理部８６へ出力する。画像処理部８６は、取得した感性情報の番号に対応させた数の「ハート」の記号の数を表示した画像データを作成して、感性表示７８を表示部６４に表示させる。また、画像処理装置６２は、取得した心拍情報から、選択された画像を使用者６０が「かわいい」と感じる画像に加工するパラメータを検出する。なお、パラメータは、加工条件における条件の一例である。
FIG. 9 is a diagram for explaining another
図１０は、画像処理装置６２の表示部６４に表示される画像の一例を示す。表示部６４には、メニューバー６８と、パラメータ入力欄７０と、実行釦７１と、ツールボックス７２と、コントロールバー７４と、ドキュメントウインドウ７６と、感性表示７８とが表示される。
FIG. 10 shows an example of an image displayed on the
使用者６０は、ツールボックス７２またはコントロールバー７４に対する指示を操作部６３から入力する。操作部６３は、例えば、マウス、キーバードまたはタッチパネルであってよい。これにより、使用者６０は、画像を加工するパラメータ種類およびパラメータ値を入力できる。画像処理装置６２は、使用者６０に入力されたパラメータ種類およびパラメータ値で加工をした複数の加工画像を作成して表示部６４に表示する。画像処理装置６２は、取得した心拍情報から、「かわいい」度合いを示す情報を算出する。画像処理装置６２は、当該情報に基づいて感性表示７８を作成して、表示部６４に表示する。
The
また、画像処理部８６は、パラメータ入力欄７０に入力されたパラメータ種類における、使用者が最も「かわいい」と感じるパラメータ値を検出して、当該パラメータ値によって加工された加工画像を、ドキュメントウインドウ７６に表示する。
Further, the
図１１は、画像処理装置６２の機能ブロック図を示す。なお、図１１において、図６と同じ要素には共通の参照番号を付して、重複する説明を省略する。画像処理装置６２は、操作部６３と、表示部６４と、通信部８２と、画像格納部８４と、条件格納部５２と、条件判断部５４と、画像処理部８６とを有する。
FIG. 11 shows a functional block diagram of the
使用者６０は、操作部６３から、画像処理部８６に加工する元画像を選択する指示を入力する。なお、加工する元画像は、画像格納部８４に格納されている画像であってもよく、ネットワーク９０を通じて外部サーバ８３に格納されている画像であってもよい。ネットワーク９０を介して外部サーバ８３に格納されている画像を選択した場合、通信部８２は、画像処理部８６に入力された指示に基づいて、ネットワーク９０を介して外部サーバに格納された画像を取得する。画像処理部８６は、使用者６０の選択した画像を、画像格納部８４または通信部８２から読み出して元画像として表示部６４のドキュメントウインドウ７６に表示する。
The
画像処理部８６は、ドキュメントウインドウ７６に表示された元画像に対し、操作部６３からパラメータ入力欄７０に入力されたパラメータ種類における種々のパラメータで加工をした複数の加工画像を作成して表示部６４に順次表示する。画像処理部８６は、複数の加工画像に対する処理として、複数の加工画像のうち、格納部に格納された条件を満たすと判断された心拍情報を取得した時点で、表示部６４に表示された加工画像の加工条件情報に、使用者６０により選択されたことを示す指標を付与する。指標の一例は、選択されたことを示す選択情報である。
The
図１２は、元画像の加工条件を手動で設定するマニュアルパラメータ設定処理の一例を説明するフローチャートである。マニュアルパラメータの設定処理は、画像処理装置６２が起動された後に開始する。
FIG. 12 is a flowchart for explaining an example of manual parameter setting processing for manually setting the processing conditions of the original image. The manual parameter setting process starts after the
ステップＳ２０１において、画像処理部８６は、操作部６３からパラメータ種およびパラメータ値の変更の指示を受け付ける。なお、本実施形態において、パラメータ種およびパラメータ値の変更の指示は、ツールボックス７２またはコントロールバー７４を操作することにより入力される。画像処理部８６は、受け付けたパラメータ変更の指示に基づいて元画像を変更して表示部６４に表示する（Ｓ２０２）。
In step S <b> 201, the
条件判断部５４は、心拍計１４から心拍情報を取得する（Ｓ２０３）。条件判断部５４は、取得した心拍情報からΔＲ−Ｒの絶対値を算出する。条件判断部５４は、「かわいい」を五段階で示す番号からなる感性情報を算出して（Ｓ２０４）、画像処理部８６に出力する。画像処理部８６は、「カワイイ度」の文字と「ハート」の記号の数で表示される感性表示を作成して、表示部６４に表示させる（Ｓ２０５）。これにより、使用者６０は、表示部６４に表示される感性情報を確認しながら、加工条件を変更することができ、使用者６０は自らが「かわいい」と感じる画像に加工するパラメータ種およびパラメータ値を検出できる。
The
ステップＳ２０５に続いて、画像処理部８６は、使用者６０から終了指示が入力されたか否かを判断する（Ｓ２０６）。画像処理部８６は、終了指示が入力されたと判断した場合（Ｓ２０６：Ｙｅｓ）、マニュアルパラメータ設定処理を終了する。一方、終了指示が入力されていないと判断した場合（Ｓ２０６：Ｎｏ）、処理をステップＳ２０１に戻す。
Following step S205, the
図１３は、自動パラメータ設定処理の一例を説明するフローチャートである。自動パラメータ設定処理は、パラメータ入力欄７０にパラメータ種類が入力され、実行釦７１が選択されることによって開始する。
FIG. 13 is a flowchart for explaining an example of the automatic parameter setting process. The automatic parameter setting process starts when a parameter type is input to the
ステップＳ３０１において、画像処理部８６は、入力されたパラメータ種類の中から変更するパラメータ種類を設定する（Ｓ３０１）。画像処理部８６は、入力されたパラメータ種類の変更可能範囲における全てのパラメータについて、加工条件を記録した加工情報を作成する（Ｓ３０２）。画像処理部８６は、ある一つの加工情報に基づいてパラメータ値を変更した加工画像を表示部６４に表示する（Ｓ３０３）。
In step S301, the
条件判断部５４は、心拍計１４から心拍情報を取得して（Ｓ３０４）、ΔＲ−Ｒの絶対値を算出する。条件判断部５４は、算出したΔＲ−Ｒの絶対値を画像処理部８６で作成された加工情報に対応させて記憶する（Ｓ３０５）。
The
条件判断部５４は、ステップＳ３０２で作成した全ての加工情報に対応付けてΔＲ−Ｒの絶対値が記録されたか否かを判断する（Ｓ３０６）。条件判断部５４は、全ての加工情報に対応付けてΔＲ−Ｒの絶対値が記録されたと判断すると（Ｓ３０６：Ｙｅｓ）、処理をステップＳ３０８へ進める。一方、条件判断部５４は、全ての加工情報に対応付けてΔＲ−Ｒの絶対値が記録されていないと判断すると、表示部６４に表示する画像の加工情報を、ΔＲ−Ｒの絶対値が対応つけて記録されていない加工情報に変更する指示を画像処理部８６に出力して（Ｓ３０７）、処理をステップＳ３０３へ戻す。
The
条件判断部５４は、条件格納部５２に格納された条件を満たすΔＲ−Ｒの絶対値が対応ついた加工条件を選択する（Ｓ３０８）。なお、図１３に示した例において、条件格納部５２に格納された条件は、「ΔＲ−Ｒの絶対値が最も大きい」である。条件判断部５４は、最も大きいΔＲ−Ｒの絶対値が記録されている加工情報を選択する。条件判断部５４は、選択した加工情報に選択情報を記録して（Ｓ３０９）、画像処理部８６に加工情報を出力する。なお、選択情報を記録することは、指標を付すことの一例であり、条件判断部５４による選択情報の記録は、画像処理装置６２における画像に対する処理の一例である。また、ΔＲ−Ｒの絶対値が最も大きいことは、使用者６０が最も「かわいい」と感じていることとになり、条件判断部５４から出力される加工情報は、元画像を使用者６０が最も「かわいい」と感じる画像に加工する加工情報となる。
The
ステップＳ３０９に続いて、画像処理部８６は、パラメータ入力欄７０に入力されたパラメータ種類に選択情報が記録された加工情報があるか否かを判断する（Ｓ３１０）。画像処理部８６は、パラメータ種類に選択画像が記録された加工情報がないものがあると判断すると（Ｓ３１０：Ｎｏ）、処理をＳ３１０に戻して、加工情報がないパラメータ種類に変更するパラメータを設定する。一方、画像処理部８６はパラメータ種類に選択画像が記録された加工情報があると判断すると（Ｓ３１０：Ｙｅｓ）、選択情報が記録された加工情報を読み出し、当該加工情報に基づいて元画像を加工した画像を生成して、表示部６４のドキュメントウインドウ７６に表示して、自動パラメータ設定処理は終了する。
Subsequent to step S309, the
以上説明したように、画像処理装置６２は、表示部に感性表示７８表示させる。これにより、使用者６０は、年齢・性別といった社会的制約にかかわらず、「かわいい」と感じる画像に加工することができる。また、画像処理装置６２は、使用者６０が選択したパラメータ種類において、最も「かわいい」と感じる加工情報を検出する。これにより、使用者６０は、年齢・性別といった社会的制約にかかわらず、「かわいい」と感じる画像に加工する条件を容易に検出できる。
As described above, the
なお、図１３に示した例においては、変更するパラメータ種類を定めて、順番に最も「かわいい」と感じるパラメータを選択したが、全てのパラメータ種類におけるすべてのパラメータ値の組み合わせの画像を表示させて、その中から「ΔＲ−Ｒの絶対値が最も大きい」画像に加工する加工情報を選択してもよい。これにより、使用者６０が最も「かわいい」と感じる画像に加工する条件を検出できる。
In the example shown in FIG. 13, the parameter type to be changed is determined, and the parameter that feels the most “cute” is selected in order, but an image of combinations of all parameter values in all parameter types is displayed. Among them, processing information to be processed into an image having “the largest absolute value of ΔR−R” may be selected. Accordingly, it is possible to detect a condition for processing the image that the
また、画像処理装置６２は、使用者６０により選択された画像に感性情報を付与して、当該感性情報に基づいて画像を分類または検索できてもよい。図１４は、画像へ感性情報を記録する処理の一例を説明するフローチャートである。
In addition, the
ステップＳ４０１において、使用者６０は、感性情報を付与したい画像を選択する。使用者６０により選択された画像は、表示部６４のドキュメントウインドウ７６に表示される（Ｓ４０２）。条件判断部５４は、心拍計１４から心拍情報を取得する（Ｓ４０３）。
In step S401, the
条件判断部５４は、取得した心拍情報に基づいてΔＲ−Ｒ絶対値を算出して、当該ΔＲ−Ｒ絶対値に対応する感性情報を作成する（Ｓ４０４）。条件判断部５４は、作成した感性情報を画像処理部８６へ出力する。
The
画像処理部８６は、感性情報を使用者６０に選択された画像データに記録する。画像処理部８６は、例えば、作成した感性情報をＥｘｉｆ情報として、画像データに記録され、画像へ感性情報を記録する処理は終了する。
The
このように、画像処理装置６２は、感性情報が記録されていない画像データに感性情報を記録し、当該感性情報を画像を分類または検索するのに使用できる。図１５は、感性情報に基づく、画像の検索処理の一例を説明するフローチャートである。
As described above, the
ステップＳ５０１において、使用者６０は、検索条件として操作部６３から感性条件を入力する。図１０に示した例においては、パラメータ入力欄７０に感性条件を入力してもよい。また、感性条件の入力は、「ハート」の記号の数を入力してもよい。
In step S501, the
操作部６３から入力された感性条件は、画像処理部８６に出力される。画像処理部８６は、画像格納部８４に格納されている画像の中から、入力された感性条件に一致する画像データを検索する。画像処理部８６は、感性条件に一致する画像を検索できたか否かを判断する（Ｓ５０２）。画像処理部８６は、感性条件に一致する画像を検索できないと判断した場合、処理をステップＳ５０１に戻し、再び使用者６０から感性条件が入力されるのを待つ。一方、画像処理部８６は、感性条件に一致する画像を検索できたと判断した場合（Ｓ５０２：Ｙｅｓ）、一致した画像データを読み出して（Ｓ５０３）、表示部６４のドキュメントウインドウ７６に表示して（Ｓ５０４）、画像の検索処理は終了する。
The sensitivity condition input from the
以上説明したように、画像処理装置６２は、感性情報を用いて、画像の分類または検索を行うことができる。さらに、画像処理装置６２は、他の検索条件、例えば、被写体のカテゴリー（人物・動物・ぬいぐるみ等）と感性情報との「ＡＮＤ」または「ＯＲ」検索を行うことができてもよい。また、上記被写体のカテゴリーごとに「かわいい」度で順位付けできてもよい。
As described above, the
また、画像処理装置６２は、感性情報を画像データに記録する場合、感性情報を取得した時間を併せて記録してもよい。これにより、一枚の画像について、「かわいい」度の経時的な変化または平均としての「かわいい」度の算出ができる。
Further, when recording the sensitivity information in the image data, the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
１０、１６、６０ 使用者、１２、１８、６２ 画像処理装置、１４ 心拍計、２０ 撮影レンズ、２２ 撮像素子、２４ 駆動部、２８ Ａ／Ｄ変換回路、３０ メモリ、３２ 制御部、３４ メモリカードＩＦ、３６ メモリカード、３８ ＬＣＤ駆動回路、４０、６４ 表示部、４１ 被写体、４２ ＡＦセンサ、４３ 撮像条件、４４、６３ 操作部、４５、７８ 感性表示、５０ 感性判断部、５２ 条件格納部、５４ 条件判断部、５６、８６ 画像処理部、６８ メニューバー、７０ パラメータ入力欄、７１ 実行釦、７２ ツールボックス、７４ コントロールバー、７６ ドキュメントウインドウ、８２ 通信部、８３ 外部サーバ、８４ 画像格納部、９０ ネットワーク、１００ 実験システム、１０２ 映像提示用コンピュータ、１０４ プロジェクター、１０６ １００インチスクリーン、１０８ 計測用コンピュータ、１１０ 生体計測装置、１１２ 被験者、１５２、１５４、１５６ プロファイル 10, 16, 60 User, 12, 18, 62 Image processing device, 14 Heart rate monitor, 20 Shooting lens, 22 Image sensor, 24 Drive unit, 28 A / D conversion circuit, 30 Memory, 32 Control unit, 34 Memory card IF, 36 Memory card, 38 LCD drive circuit, 40, 64 Display unit, 41 Subject, 42 AF sensor, 43 Imaging condition, 44, 63 Operation unit, 45, 78 Sensitivity display, 50 Sensitivity judgment unit, 52 Condition storage unit, 54 Condition determining unit, 56, 86 Image processing unit, 68 Menu bar, 70 Parameter input field, 71 Execution button, 72 Tool box, 74 Control bar, 76 Document window, 82 Communication unit, 83 External server, 84 Image storage unit, 90 network, 100 experimental system, 102 video presentation computer, 104 Projector, 106 100-inch screen, 108 measurement computer, 110 biological measurement device, 112 subject, 152, 154, 156 profile
Claims (8)
生体からの心拍に関する心拍情報を取得し、取得した前記心拍情報に含まれる心拍が前記条件格納部に格納されている条件を満たすか否かを判断する条件判断部と、
前記条件判断部により前記条件を満たすと判断された場合に、画像に対する処理を実行する画像処理部と
を備え、
前記条件は、心拍のＲ−Ｒ間隔であって、安静時におけるＲ−Ｒ間隔を減じた値であるΔＲ−Ｒが予め定められた閾値より小さいこと、且つ、前記ΔＲ−Ｒの分散が予め定められた閾値より小さいことを含む画像処理装置。 A condition storage unit that stores in advance a heartbeat condition that occurs in the living body when it is felt "cute";
A condition determination unit that acquires heart rate information related to a heart rate from a living body, and determines whether or not a heart rate included in the acquired heart rate information satisfies a condition stored in the condition storage unit;
An image processing unit that performs processing on an image when the condition determining unit determines that the condition is satisfied ;
The condition is the RR interval of the heartbeat, ΔR-R, which is a value obtained by subtracting the RR interval at rest, is smaller than a predetermined threshold, and the variance of the ΔR-R is predetermined. An image processing apparatus including less than a predetermined threshold .
生体からの心拍に関する心拍情報を取得し、取得した前記心拍情報に含まれる心拍が前記条件格納部に格納されている条件を満たすか否かを判断する条件判断部と、A condition determination unit that acquires heart rate information related to a heart rate from a living body, and determines whether or not a heart rate included in the acquired heart rate information satisfies a condition stored in the condition storage unit;
前記条件判断部により前記条件を満たすと判断された場合に、画像に対する処理を実行する画像処理部とAn image processing unit that executes processing on an image when the condition determining unit determines that the condition is satisfied;
を備え、With
前記条件は、心拍のＲ−Ｒ間隔であって、安静時におけるＲ−Ｒ間隔を減じた値であるΔＲ−Ｒの分散が予め定められた閾値より小さいこと、且つ、前記ΔＲ−Ｒの時間微分値が負であって、絶対値が予め定められた閾値より大きいことを含む画像処理装置。The condition is the RR interval of the heartbeat, and the variance of ΔR-R, which is a value obtained by subtracting the RR interval at rest, is smaller than a predetermined threshold, and the time of ΔR-R An image processing apparatus including a differential value being negative and an absolute value being greater than a predetermined threshold value.
生体からの心拍に関する心拍情報を取得し、取得した前記心拍情報に含まれる心拍が前記条件格納部に格納されている条件を満たすか否かを判断する条件判断部と、A condition determination unit that acquires heart rate information related to a heart rate from a living body, and determines whether or not a heart rate included in the acquired heart rate information satisfies a condition stored in the condition storage unit;
前記条件判断部により前記条件を満たすと判断された場合に、画像に対する処理を実行する画像処理部とAn image processing unit that executes processing on an image when the condition determining unit determines that the condition is satisfied;
を備え、With
前記条件格納部は、心拍のＲ−Ｒ間隔であって、安静時におけるＲ−Ｒ間隔を減じた値であるΔＲ−Ｒの絶対値の範囲を、複数に分けた生体の「かわいい」度合いのそれぞれに対応付けて格納し、The condition storage unit divides the absolute value range of ΔR-R, which is a value obtained by subtracting the RR interval at rest, which is the RR interval of the heartbeat, into a plurality of “cute” degrees of the living body. Store them in association with each other
前記条件判断部は、前記条件を満たすと判断したときの前記ΔＲ−Ｒの絶対値を算出し、算出した前記ΔＲ−Ｒの絶対値が前記条件格納部に格納されている前記範囲の何れに含まれるかを検知することで、「かわいい」度合いを検出し、「かわいい」度合いを示す感性情報を作成して前記画像処理部に出力し、The condition determination unit calculates an absolute value of the ΔR-R when it is determined that the condition is satisfied, and the calculated absolute value of the ΔR-R is stored in any of the ranges stored in the condition storage unit. By detecting whether it is included, the degree of “cute” is detected, and Kansei information indicating the degree of “cute” is created and output to the image processing unit,
前記画像処理部は、前記感性情報に基づいて画像に対する処理を実行する画像処理装置。The image processing unit is an image processing device that performs processing on an image based on the sensitivity information.
生体からの心拍に関する心拍情報を取得し、取得した前記心拍情報に含まれる心拍が前記条件格納部に格納されている条件を満たすか否かを判断する条件判断部と、A condition determination unit that acquires heart rate information related to a heart rate from a living body, and determines whether or not a heart rate included in the acquired heart rate information satisfies a condition stored in the condition storage unit;
前記条件判断部により前記条件を満たすと判断された場合に、画像に対する処理を実行する画像処理部とAn image processing unit that executes processing on an image when the condition determining unit determines that the condition is satisfied;
を備え、With
前記条件判断部は、心拍のＲ−Ｒ間隔であって、安静時におけるＲ−Ｒ間隔を減じた値であるΔＲ−Ｒの時系列データから多次元の特徴量を抽出して、機械学習、ＡＲモデル、ニューラルネットワーク、および、テンプレートのマッチングの少なくとも１つによって前記条件を満たすか否かを判断する画像処理装置。The condition determination unit extracts a multidimensional feature amount from time-series data of ΔR-R, which is a value obtained by subtracting the RR interval at rest, which is the RR interval of the heartbeat, and performs machine learning. An image processing apparatus that determines whether or not the condition is satisfied by at least one of an AR model, a neural network, and template matching.
元画像に対して異なる加工条件で加工をした複数の加工画像を生成し、画像表示部に順次表示するとともに、前記処理として、前記複数の加工画像のうち、前記条件を満たすと判断された前記心拍情報を取得した時点で前記画像表示部に表示されていた加工画像の加工条件に、前記生体により選択されたことを示す指標を付与する請求項１から４の何れか一項に記載の画像処理装置。 The image processing unit
A plurality of processed images processed with different processing conditions with respect to the original image are generated and sequentially displayed on the image display unit, and the processing is determined to satisfy the condition among the plurality of processed images. The image according to any one of claims 1 to 4 , wherein an index indicating that the living body has been selected is added to the processing condition of the processed image displayed on the image display unit at the time when the heartbeat information is acquired. Processing equipment.
前記条件判断部は、前記心拍情報に加えて、生体反応に関する反応情報を生体から取得して、前記心拍および前記生体反応の条件を満たすか否かを判断する請求項１から６のいずれか１項に記載の画像処理装置。 The condition storage unit further stores in advance biological reaction conditions that are different from heartbeats, which occur in the living body when feeling “cute”,
7. The condition determination unit according to claim 1, wherein the condition determination unit acquires reaction information related to a biological reaction in addition to the heartbeat information from the living body, and determines whether the condition of the heartbeat and the biological reaction is satisfied. The image processing apparatus according to item.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013180720A JP6198530B2 (en) | 2013-08-30 | 2013-08-30 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013180720A JP6198530B2 (en) | 2013-08-30 | 2013-08-30 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015050614A JP2015050614A (en) | 2015-03-16 |
| JP6198530B2 true JP6198530B2 (en) | 2017-09-20 |
Family
ID=52700280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013180720A Active JP6198530B2 (en) | 2013-08-30 | 2013-08-30 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6198530B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6393990B2 (en) * | 2014-01-20 | 2018-09-26 | 株式会社ニコン | Image processing device |
| JP7097012B2 (en) * | 2017-05-11 | 2022-07-07 | 学校法人 芝浦工業大学 | Kansei estimation device, Kansei estimation system, Kansei estimation method and program |
| WO2019159352A1 (en) * | 2018-02-19 | 2019-08-22 | 日本電気株式会社 | Psychosomatic state estimation device, psychosomatic state estimation method, and computer-readable recording medium |
| CN111277755B (en) * | 2020-02-12 | 2021-12-07 | 广州小鹏汽车科技有限公司 | Photographing control method and system and vehicle |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005250977A (en) * | 2004-03-05 | 2005-09-15 | Nikon Corp | Photographing apparatus, image reproducing device, image appreciation room, data accumulation/analysis apparatus, silver salt camera, and scanner |
| JP2005260892A (en) * | 2004-03-15 | 2005-09-22 | Nec Corp | Mental picture scenery recorder |
| JP5515192B2 (en) * | 2005-02-17 | 2014-06-11 | セイコーエプソン株式会社 | Image recording apparatus, image recording method, and control program |
| JP5018375B2 (en) * | 2007-09-27 | 2012-09-05 | カシオ計算機株式会社 | Imaging apparatus, playback apparatus, imaging control setting method, and program |
| JP2012059107A (en) * | 2010-09-10 | 2012-03-22 | Nec Corp | Emotion estimation device, emotion estimation method and program |
| JP5257525B2 (en) * | 2012-01-12 | 2013-08-07 | ソニー株式会社 | Information processing apparatus, imaging control method, and program |
-
2013
- 2013-08-30 JP JP2013180720A patent/JP6198530B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015050614A (en) | 2015-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2772828B1 (en) | Individual body discrimination device and individual body discrimination method | |
| US9747902B2 (en) | Method and system for assisting patients | |
| JP6521845B2 (en) | Device and method for measuring periodic fluctuation linked to heart beat | |
| US20120083675A1 (en) | Measuring affective data for web-enabled applications | |
| JP6356963B2 (en) | Machinery | |
| JP2007068620A (en) | Psychological condition measuring apparatus | |
| JP6198530B2 (en) | Image processing device | |
| US20130102854A1 (en) | Mental state evaluation learning for advertising | |
| JP5789735B2 (en) | Content evaluation apparatus, method, and program thereof | |
| JP2006087743A (en) | Recognizing ability measuring apparatus and method | |
| JP6132335B2 (en) | Emotion estimation device and emotion estimation method | |
| US20130052621A1 (en) | Mental state analysis of voters | |
| CN113764099A (en) | Psychological state analysis method, device, equipment and medium based on artificial intelligence | |
| Jayawardena et al. | Automated filtering of eye gaze metrics from dynamic areas of interest | |
| KR20130043369A (en) | Apparatus for deciding user's intention and method therof | |
| JPWO2017085894A1 (en) | Pulse wave analyzer, pulse wave analysis method, and pulse wave analysis program | |
| WO2017154477A1 (en) | Pulse estimating device, pulse estimating system, and pulse estimating method | |
| CN114241565A (en) | Facial expression and target object state analysis method, device and equipment | |
| JP2011244841A (en) | Biological information measurement apparatus and method of biological information measurement | |
| JP4774532B2 (en) | Facial expression image record retrieval device | |
| JP7514521B2 (en) | HEART RATE MEASUREMENT SYSTEM, HEART RATE MEASUREMENT METHOD, AND HEART RATE MEASUREMENT PROGRAM | |
| JP5918998B2 (en) | Image processing apparatus, imaging apparatus, control method, and program | |
| JP6149084B2 (en) | Individual discrimination device and individual discrimination method | |
| US20240223884A1 (en) | Image capturing method | |
| JP6363561B2 (en) | Information processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160829 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170516 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170713 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170725 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170822 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6198530 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |