JP2000268180A - Image processing device and method and provided medium - Google Patents
Image processing device and method and provided mediumInfo
- Publication number
- JP2000268180A JP2000268180A JP11068455A JP6845599A JP2000268180A JP 2000268180 A JP2000268180 A JP 2000268180A JP 11068455 A JP11068455 A JP 11068455A JP 6845599 A JP6845599 A JP 6845599A JP 2000268180 A JP2000268180 A JP 2000268180A
- Authority
- JP
- Japan
- Prior art keywords
- area
- calculating
- subject
- calculation
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像処理装置およ
び方法、並びに提供媒体に関し、特に、被写体の向きを
迅速かつ簡単に求めることができるようにした画像処理
装置および方法、並びに提供媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus and method, and a providing medium, and more particularly, to an image processing apparatus and method and a providing medium capable of quickly and easily determining the direction of a subject.
【０００２】[0002]
【従来の技術】例えば、テレビ会議システムなどにおい
て、使用者の顔の向きを検出すれば、使用者の顔の向き
に対応して、その方向のテレビ会議の出席者に対して、
音量を大きくしたり、画像を切り替えたりすることがで
きる。2. Description of the Related Art For example, in a video conference system or the like, if the orientation of a user's face is detected, attendees of a video conference in that direction can respond to the orientation of the user's face.
You can increase the volume or switch images.
【０００３】このように、人の顔の向きを検出するに
は、テンプレートマッチングがよく用いられる。このテ
ンプレートマッチングによる方法は、所定の方向に向い
ている人の顔の画像をテンプレートとして予め登録して
おくものであり、人の現在の画像とテンプレートとを比
較することで、使用者の顔の向きが判定される。As described above, template matching is often used to detect the direction of a human face. In the method using template matching, an image of a person's face facing a predetermined direction is registered in advance as a template. By comparing the current image of the person with the template, the face of the user's face is compared. The orientation is determined.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、テンプ
レートマッチングによる方法は、確実に、人の向きを検
出することが可能であるが、計算量が多くなり、検出に
時間がかかる課題があった。However, the method using template matching can surely detect the orientation of a person, but has a problem that the amount of calculation is large and the detection takes time.
【０００５】さらにまた、検出する画像によって、テン
プレートを変更する必要があり、リファレンスとして記
憶しておくためのメモリの容量が大きくなる。Furthermore, it is necessary to change the template depending on the image to be detected, which increases the capacity of a memory for storing as a reference.
【０００６】さらに、角度を検出する場合には、角度毎
のテンプレートが必要となる。さらに、照明などに起因
して輝度が変化したり、被写体の位置に起因して画像が
回転したり、拡大または縮小したりすると、それぞれに
対応するテンプレートが必要となる。従って、テンプレ
ートマッチングは、物体の方向を検出するのには、あま
り適していない方法ということができる。Further, when detecting an angle, a template for each angle is required. Furthermore, when the luminance changes due to lighting or the like, or when the image is rotated or enlarged or reduced due to the position of the subject, a template corresponding to each is required. Therefore, it can be said that template matching is not a very suitable method for detecting the direction of an object.
【０００７】本発明はこのような状況に鑑みてなされた
ものであり、簡単な構成で、かつ、迅速に、被写体の向
きを検出することができるようにするものである。[0007] The present invention has been made in view of such a situation, and has an object to be able to quickly detect the direction of a subject with a simple configuration.
【０００８】[0008]
【課題を解決するための手段】請求項１に記載の画像処
理装置は、被写体の画像データから、第１の領域と第２
の領域を抽出する抽出手段と、抽出手段により抽出され
た第１の領域と第２の領域の面積を演算する第１の演算
手段と、演算手段により演算された第１の領域と第２の
領域の面積の比を演算する第２の演算手段と、第２の演
算手段の演算結果に基づいて、被写体の向きを演算する
第３の演算手段とを含むことを特徴とする。An image processing apparatus according to claim 1, wherein a first area and a second area are obtained from image data of a subject.
Extracting means for extracting the area of the first area, first calculating means for calculating the areas of the first area and the second area extracted by the extracting means, and the first area and the second area calculated by the calculating means. It is characterized by including a second calculating means for calculating the ratio of the area of the region, and a third calculating means for calculating the direction of the subject based on the calculation result of the second calculating means.
【０００９】請求項５に記載の画像処理装置は、被写体
の画像データから、第１の領域と第２の領域を抽出する
抽出ステップと、抽出ステップの処理により抽出された
第１の領域と第２の領域の面積を演算する第１の演算ス
テップと、演算ステップの処理により演算された第１の
領域と第２の領域の面積の比を演算する第２の演算ステ
ップと、第２の演算ステップでの演算結果に基づいて、
被写体の向きを演算する第３の演算ステップとを含むこ
とを特徴とする。According to a fifth aspect of the present invention, there is provided an image processing apparatus, comprising: an extracting step of extracting a first area and a second area from image data of a subject; and the first area and the second area extracted by the processing of the extracting step. A first calculation step of calculating the area of the second region, a second calculation step of calculating the ratio of the area of the first region to the second region calculated by the processing of the calculation step, and a second calculation Based on the calculation result in the step,
And a third calculation step of calculating the direction of the subject.
【００１０】請求項６に記載の提供媒体は、被写体の画
像データから、第１の領域と第２の領域を抽出する抽出
ステップと、抽出ステップの処理により抽出された第１
の領域と第２の領域の面積を演算する第１の演算ステッ
プと、演算ステップの処理により演算された第１の領域
と第２の領域の面積の比を演算する第２の演算ステップ
と、第２の演算ステップでの演算結果に基づいて、被写
体の向きを演算する第３の演算ステップとを含む処理を
画像処理装置に実行させるコンピュータが読み取り可能
なプログラムを提供することを特徴とする。According to a sixth aspect of the present invention, in the providing medium, an extracting step of extracting a first area and a second area from image data of a subject, and a first area extracted by the processing of the extracting step.
A first calculation step of calculating the area of the second area and the area of the second area; and a second calculation step of calculating the ratio of the area of the first area to the second area calculated by the processing of the calculation step; A computer-readable program for causing an image processing apparatus to execute a process including a third calculation step of calculating a direction of a subject based on a calculation result in the second calculation step is provided.
【００１１】請求項１に記載の画像処理装置、請求項５
に記載の画像処理方法、および請求項６に記載の提供媒
体においては、第１の領域と第２の領域の面積の比に基
づいて、被写体の向きが演算される。An image processing apparatus according to claim 1,
In the image processing method described in (1) and the providing medium described in (6), the direction of the subject is calculated based on the ratio of the area of the first area to the area of the second area.
【００１２】[0012]
【発明の実施の形態】図１は、本発明を適用した画像処
理装置の構成例を表している。この構成例においては、
ビデオカメラ１により撮像された被写体の画像が演算装
置２に供給され、被写体の向きが演算されるようになさ
れている。演算装置２は、例えばパーソナルコンピュー
タなどにより構成される。FIG. 1 shows a configuration example of an image processing apparatus to which the present invention is applied. In this configuration example,
The image of the subject captured by the video camera 1 is supplied to the arithmetic unit 2 so that the orientation of the subject is calculated. The arithmetic unit 2 is configured by, for example, a personal computer.
【００１３】次に、演算装置２が行う処理について、図
２のフローチャートを参照して説明する。最初にステッ
プＳ１において、ビデオカメラ１により被写体が撮像さ
れる。ビデオカメラ１により撮像された被写体の画像デ
ータは、演算装置２に供給される。演算装置２は、ステ
ップＳ２において、入力された画像データから、被写体
の髪の毛の領域と顔の領域を抽出する処理を実行する。
いま、ここでは簡単のため、髪の毛の領域を黒色の画素
の領域として抽出し、また、顔の領域を肌色の画素の領
域として抽出するものとする。この黒色領域抽出処理と
肌色領域抽出処理の詳細は、図３と図４のフローチャー
トにそれぞれ示されている。Next, the processing performed by the arithmetic unit 2 will be described with reference to the flowchart of FIG. First, in step S1, the subject is imaged by the video camera 1. Image data of the subject captured by the video camera 1 is supplied to the arithmetic unit 2. In step S2, the arithmetic unit 2 executes a process of extracting a hair region and a face region of the subject from the input image data.
For the sake of simplicity, it is assumed here that a hair region is extracted as a black pixel region, and a face region is extracted as a skin color pixel region. Details of the black area extraction processing and the skin color area extraction processing are shown in the flowcharts of FIGS. 3 and 4, respectively.
【００１４】黒色領域を抽出する場合、図３に示すよう
に、ステップＳ２１において、１フレーム分の画像がｎ
×ｍの画素毎のブロックにブロック化される。図５は、
簡単のため、４×４画素単位でブロック化が行われてい
る例を表している。When a black area is to be extracted, as shown in FIG.
The image data is divided into blocks of xm pixels. FIG.
For simplicity, an example in which blocking is performed in units of 4 × 4 pixels is shown.
【００１５】次に、ステップＳ２２において、黒色のブ
ロックの数を表す変数Ｎに０が初期設定される。ステッ
プＳ２３において、演算装置２は、所定の１つのブロッ
クを抽出し、そのブロック内の１つの画素の色差データ
Ｕ，Ｖの値が約１２８であり、かつ、輝度成分Ｙの値が
予め設定されている値（閾値）Ｙ1と等しいか、それよ
り小さい値であるか否かを判定する。これらの条件が満
足される場合、その画素は黒色の画素（髪の毛の画素）
であると認識することができる。そこで、これらの条件
が満足される場合には、ステップＳ２４において、変数
Ｎが１だけインクリメントされる。これらの条件が満足
されない場合には、変数Ｎの値はインクリメントされな
い。Next, in step S22, a variable N representing the number of black blocks is initialized to 0. In step S23, the arithmetic unit 2 extracts one predetermined block, the value of the color difference data U and V of one pixel in the block is about 128, and the value of the luminance component Y is set in advance. It is determined whether the value is equal to or smaller than the current value (threshold) Y 1 . If these conditions are satisfied, the pixel is a black pixel (hair pixel)
Can be recognized. Therefore, when these conditions are satisfied, the variable N is incremented by 1 in step S24. If these conditions are not met, the value of variable N is not incremented.
【００１６】次に、ステップＳ２５において、そのブロ
ック内の全ての画素についての判定が終了したか否かが
判定され、まだ判定が終了していない画素が存在する場
合には、ステップＳ２３に戻り、それ以降の処理が繰り
返し実行される。Next, in step S25, it is determined whether or not the determination has been completed for all the pixels in the block. If there is a pixel for which determination has not been completed, the process returns to step S23. Subsequent processes are repeatedly executed.
【００１７】ステップＳ２５において、そのブロック内
の全ての画素（図５の例では、１６個の画素）について
の判定処理が終了したと判定された場合、ステップＳ２
６に進み、変数Ｎの値（ブロック内の黒い画素の数）
が、予め設定されている閾値Ｎ 1以上であるか否かが判
定される。値Ｎが閾値Ｎ1以上である場合、ステップＳ
２７において、そのブロックは黒色領域のブロックであ
るとして、黒色領域であることを示すフラグが設定され
る。このように、ブロック内の全ての画素が黒色でない
にしても、そのブロック内の多くの画素が黒色である場
合には、そのブロックは、全て黒色の領域のブロックで
あるとされる。このようにすることで、孤立点が発生す
ることが防止される。In step S25, the
For all pixels (16 pixels in the example of FIG. 5)
If it is determined that the determination processing of step S2 has been completed, step S2
Go to step 6 and the value of variable N (the number of black pixels in the block)
Is a predetermined threshold N 1It is judged whether
Is determined. Value N is threshold N1If so, step S
At 27, the block is a block in the black area
Flag is set to indicate a black area.
You. Thus, all the pixels in the block are not black
However, if many pixels in the block are black,
In that case, the blocks are all black area blocks
It is said that there is. In this way, isolated points occur.
Is prevented.
【００１８】ステップＳ２６において、値Ｎが閾値Ｎ1
より小さいと判定された場合、ステップＳ２７の処理は
スキップされる。すなわち、この場合には、そのブロッ
クには、黒色領域であることを示すフラグは設定されな
い。In step S26, the value N is set to the threshold value N 1
If it is determined that it is smaller than the threshold value, the process of step S27 is skipped. That is, in this case, the flag indicating the black area is not set in the block.
【００１９】次に、ステップＳ２８に進み、１フレーム
内の全てのブロックについての判定処理が終了したか否
かが判定され、まだ判定が終了していないブロックが存
在する場合には、ステップＳ２９に進み、処理対象とす
るブロックが変更される。そして、ステップＳ２２に戻
り、それ以降の処理が繰り返し実行される。ステップＳ
２８において、１フレーム分の全てのブロックについて
の判定処理が終了したと判定された場合、処理は終了さ
れる。Next, the process proceeds to step S28, where it is determined whether or not the determination process has been completed for all the blocks in one frame. If there is a block for which the determination has not been completed, the process proceeds to step S29. Then, the block to be processed is changed. Then, the process returns to step S22, and the subsequent processes are repeatedly executed. Step S
If it is determined in 28 that the determination process has been completed for all the blocks for one frame, the process ends.
【００２０】同様にして、肌色領域の抽出処理が図４の
フローチャートに示すステップＳ４１乃至ステップＳ４
９の処理により行われる。このステップＳ４１乃至ステ
ップＳ４９の処理は、基本的に、図３のステップＳ２１
乃至ステップＳ２９の処理と同様の処理であるが、当然
のことながら、ステップＳ４３における肌色の画素であ
るか否かの判定の基準が、図３のステップＳ２３におけ
る黒色の画素であるか否かの判定基準と異なっている。Similarly, the extraction processing of the skin color area is performed in steps S41 to S4 shown in the flowchart of FIG.
9 is performed. The processing of steps S41 to S49 is basically performed in step S21 of FIG.
Steps S29 to S29, but it is needless to say that the criterion for determining whether or not the pixel is a flesh color pixel in step S43 is whether or not the pixel is a black pixel in step S23 in FIG. Different from the criteria.
【００２１】すなわち、ステップＳ４３においては、色
差データＵを輝度データＹで割り算することで正規化し
た値Ｕ／Ｙが、−０．１より大きく、０より小さく、か
つ、色差データＶを輝度データＹで割り算して正規化し
た値Ｖ／Ｙが、０．１より大きく、かつ、０．３より小
さいとき、肌色の画素と判定される。その他の処理は、
図３における場合と同様であるので、その説明は省略す
る。That is, in step S43, the value U / Y normalized by dividing the chrominance data U by the luminance data Y is greater than -0.1, less than 0, and the chrominance data V is When the value V / Y divided by Y and normalized is larger than 0.1 and smaller than 0.3, it is determined that the pixel is a skin color pixel. Other processing,
Since it is the same as the case in FIG. 3, the description is omitted.
【００２２】図２に戻って、以上のようにして、黒色領
域と肌色領域の抽出処理が完了したとき、ステップＳ３
において、黒色領域が連続する範囲と肌色領域が連続す
る範囲を検出する処理が実行される。いま検出しようと
しているのは、髪の毛と顔であり、これらはいずれも所
定のフレーム内の領域に連続してまとまって存在するは
ずであり、所定のブロックが黒色または肌色であったと
しても、フレーム内の所定の位置に孤立したブロックで
ある場合、そのブロックは、髪の毛または顔を表す画像
のブロックではない可能性が高い。そこで、このような
ブロックは除去し、連続する範囲のブロックだけを髪の
毛または顔の領域として検出する。Returning to FIG. 2, when the black region and the flesh-color region extraction process is completed as described above, step S3 is performed.
, A process of detecting a range in which a black region is continuous and a range in which a flesh color region is continuous are executed. What we are trying to detect are the hair and the face, both of which should be present continuously in the area within the given frame, and even if the given block is black or flesh colored, If the block is an isolated block at a predetermined position in, it is highly likely that the block is not a block of an image representing hair or a face. Therefore, such blocks are removed, and only blocks in a continuous range are detected as hair or face regions.
【００２３】次に、ステップＳ４において、ステップＳ
３で検出した黒色の連続する範囲の面積ＳBと肌色の連
続する範囲の面積ＳSが求められる。この面積は、単純
にブロックの数とすることができる。Next, in step S4, step S
The area S B of the continuous range of black and the area S S of the continuous range of flesh color detected in step 3 are obtained. This area can simply be the number of blocks.
【００２４】次に、ステップＳ５において、ステップＳ
２で演算された面積ＳBと面積ＳSの比Ｒが、次式から演
算される。 Ｒ＝ＳS／（ＳS＋ＳB）Next, in step S5, step S
The ratio R of the area S B and the area S S calculated in 2 is calculated from the following equation. R = S S / (S S + S B )
【００２５】さらに、ステップＳ６において、演算装置
２は、ステップＳ５で演算により求められた比Ｒを、予
め設定されている基準値と比較し、被写体（例えば、テ
レビ会議の出席者の顔）の角度θを求める。Further, in step S6, the arithmetic unit 2 compares the ratio R obtained by the calculation in step S5 with a preset reference value, and determines the ratio of the subject (for example, the face of a video conference attendee). Obtain the angle θ.
【００２６】すなわち、例えば図６に示すように、ビデ
オカメラ１に対して、ほぼ９０度の方向を向いた人の顔
を撮像する（図６（Ａ））。その後、人が顔を左方向
（ビデオカメラ１の方向）に徐々に回転し、ビデオカメ
ラ１に顔の正面を向けた状態となるまで撮像する（図６
（Ｂ））。そして、人が再びビデオカメラ１に対して９
０度の方向を向くまで、連続的に被写体としての人の顔
を撮像する。これにより、例えば図７に示すように、被
写体の横を向いた顔（図７（Ａ））、斜めを向いた顔
（図７（Ｂ））、さらに正面を向いた顔（図７（Ｃ））
などの画像が得られることになる。That is, as shown in FIG. 6, for example, a face of a person facing a direction of substantially 90 degrees with respect to the video camera 1 is imaged (FIG. 6A). Thereafter, the person gradually rotates the face to the left (in the direction of the video camera 1) and takes an image until the face of the face is turned to the video camera 1 (FIG. 6).
(B)). Then, the person again puts 9
The face of a person as a subject is continuously imaged until the face turns to 0 degree. Thus, for example, as shown in FIG. 7, a face facing the side of the subject (FIG. 7A), a face facing obliquely (FIG. 7B), and a face facing forward (FIG. 7C ))
And so on.
【００２７】被写体としての人にセンサを取り付け、そ
のセンサにより被写体の向きを検出して、図８に示すよ
うな結果が得られた。すなわち、真横を向いた状態（ビ
デオカメラ１に対して９０度の方向を向いた状態）か
ら、正面を向いた状態（ビデオカメラ１に対して０度の
方向を向いた状態）まで顔を動かし、その後また、前の
状態に戻るようにすると、その角度に応じた値がセンサ
により検出される。A sensor was attached to a person as a subject, and the direction of the subject was detected by the sensor. The result shown in FIG. 8 was obtained. That is, the face is moved from a state in which the camera is facing sideways (a state in which the camera is oriented at 90 degrees to the video camera 1) to a state in which the camera is facing the front (a state in which the camera is oriented at 0 degrees relative to the video camera 1). After that, when returning to the previous state, a value corresponding to the angle is detected by the sensor.
【００２８】一方、このように、人が顔を横に向けた状
態から、正面を向き、また横を向いた状態に戻るように
顔を動かしたときの、ステップＳ５で求めた肌色の割合
の比Ｒは、図９に示すように変化した。肌色の割合は、
使用者が正面を向いているとき最も大きく（約８３
％）、横方向を向いているとき最も小さくなった（約５
３％）。On the other hand, when the face is moved from the state where the face is turned sideways to the state where the face is turned to the front and back to the side, the ratio of the skin color ratio obtained in step S5 is determined. The ratio R changed as shown in FIG. The percentage of skin color is
The largest when the user is facing the front (about 83
%) And the smallest when facing in the horizontal direction (about 5%).
3%).
【００２９】この図８と図９を比較して明らかなよう
に、肌色の比Ｒの値は、人の顔の角度にほぼ対応してい
る。従って、図９に示すような値をキャリブレーション
により予め求めておき、演算装置２に記憶しておき、そ
れを基準値として、ステップＳ５でいま演算された比Ｒ
と比較することにより、人の向いている角度θを求める
ことができる。As is apparent from a comparison between FIG. 8 and FIG. 9, the value of the skin color ratio R substantially corresponds to the angle of the human face. Therefore, a value as shown in FIG. 9 is obtained in advance by calibration, stored in the arithmetic device 2, and using the value as a reference value, the ratio R calculated just in step S5 is obtained.
By comparing with, the angle θ at which the person is facing can be obtained.
【００３０】図１０は、このようにして、髪の毛の領域
と顔の領域をブロック単位で近似して、それぞれの面積
を求め、人の角度を演算したとき得られた画像の例を表
している。FIG. 10 shows an example of an image obtained when the area of the hair and the area of the face are approximated in block units, their areas are calculated, and the angle of the person is calculated. .
【００３１】以上の処理によっては、正面に対する角度
θを求めることが可能であるが、その角度は、正面に対
して右方向の角度であるのか、左方向の角度であるのか
を知ることはできない。すなわち、人の顔がビデオカメ
ラ１に対して右側に４５度の角度を向いた場合と、左側
に４５度の方向を向いた場合とでは、ステップＳ６にお
いては、同じ値が得られる。そこで、以下の処理によ
り、使用者が右を向いているのか、左を向いているのか
が判定される。すなわち、ステップＳ７において、演算
装置２は、黒色の領域の面積ＳBのｘ座標方向の重心ＧB
と、肌色の領域の面積ＳSのｘ座標方向の重心ＧSを求め
る。この演算は、各領域内に含まれるｉ番目のブロック
のｘ座標をｘｉ、その領域内のブロック数をｎとすれ
ば、次式から行うことができる。 Ｇ＝（１／ｎ）ΣｘｉBy the above processing, the angle θ with respect to the front can be obtained, but it cannot be known whether the angle is the right angle or the left angle with respect to the front. . That is, the same value is obtained in step S6 when the human face is oriented at an angle of 45 degrees to the right with respect to the video camera 1 and when the human face is oriented at 45 degrees to the left. Therefore, it is determined by the following processing whether the user is facing right or left. That is, in step S7, the arithmetic unit 2, x coordinate direction of the center of gravity G B of the area S B of the black regions
When obtains the center of gravity G S x coordinate direction of an area S S of the skin color region. This calculation can be performed by the following equation, where xi is the x coordinate of the i-th block included in each area, and n is the number of blocks in the area. G = (1 / n) Σxi
【００３２】図７（Ａ）に模式的に示すように、人が左
方向を向いている場合には、髪の毛の領域の重心ＧBの
ｘ座標は、顔の領域の重心ＧSのｘ座標より右側に位置
する（より大きな値となる）。これに対して、人が右方
向を向いている場合には、髪の毛の重心ＧBのｘ座標の
値は、肌色の重心ＧSのｘ座標より左側に位置する（小
さい値となる）。そこで、ステップＳ８において、ステ
ップＳ７で求めた面積ＳBの重心ＧBのｘ座標と面積ＳS
の重心ＧSのｘ座標の大小を比較し、重心ＧBのｘ座標の
値が重心ＧSのｘ座標の値より大きい場合には、ステッ
プＳ９において、フラグＦに人が左方向を向いているこ
とを表す記号Ｌを設定する。これに対して、重心ＧBの
ｘ座標の値が重心ＧSのｘ座標の値より小さい場合に
は、ステップＳ１０において、フラグＦに人の顔が右方
向を向いていることを表す記号Ｒを設定する。As shown schematically in FIG. 7A, when the person is facing left, the x coordinate of the center of gravity G B of the hair region is the x coordinate of the center of gravity G S of the face region. Located to the right (greater value). In contrast, if the person is looking rightward, the value of the x-coordinate of the hair of the center of gravity G B, (a small value), located on the left side of the x-coordinate of the skin color of the center of gravity G S. Therefore, in step S8, x-coordinate and the area S S of the center of gravity G B of the area S B obtained in step S7
The magnitude of the x-coordinate of the center of gravity G S is compared with each other. If the value of the x-coordinate of the center of gravity G B is larger than the value of the x-coordinate of the center of gravity G S , in step S9, the person turns leftward to the flag F in step S9. Is set to indicate the presence. In contrast, the symbol when the value of x-coordinate of the center of gravity G B is less than the value of x-coordinate of the center of gravity G S indicates that at step S10, that the flag F of a human face is directed rightward R Set.
【００３３】以上のようにして、ステップＳ６で求めた
角度θと、ステップＳ９，Ｓ１０で求めたフラグＦか
ら、使用者が左右どちらの方向に何度向いているのかを
検出することができる。As described above, it is possible to detect in which direction the user is facing left or right based on the angle θ obtained in step S6 and the flag F obtained in steps S9 and S10.
【００３４】なお、以上においては、基準値として、図
９に示すようなキャリブレーションの結果を予め記憶す
るようにしたが、図１１に示すように、使用者が正面を
向いているときの比Ｒの値をＲa、４５度の方向を向い
ているときの比Ｒの値をＲbとするとき、ステップＳ５
で求められた比Ｒを、次式に代入することで角度θを求
めることもできる。この場合、キャリブレーションは不
要となる。 θ＝（（Ｒ−Ｒa）／（Ｒb−Ｒa））×４５度In the above description, the calibration result as shown in FIG. 9 is stored in advance as a reference value. However, as shown in FIG. 11, the ratio when the user is facing the front is shown in FIG. When the value of R is R a and the value of the ratio R when facing in the direction of 45 degrees is R b , step S5
The angle θ can also be obtained by substituting the ratio R obtained in the above into the following equation. In this case, calibration is not required. θ = ((R−R a ) / (R b −R a )) × 45 degrees
【００３５】図１２は、他の構成例を表している。この
構成例においては、ビデオカメラ１が２台（ビデオカメ
ラ１−１とビデオカメラ１−２）設けられており、それ
ぞれが撮像した画像信号が演算装置２に供給されてい
る。図１３は、このような構成例における場合の演算装
置２の動作を表している。FIG. 12 shows another configuration example. In this configuration example, two video cameras 1 (video camera 1-1 and video camera 1-2) are provided, and image signals captured by each of them are supplied to the arithmetic unit 2. FIG. 13 shows the operation of the arithmetic unit 2 in such a configuration example.
【００３６】最初にステップＳ７１において、ビデオカ
メラ１−１により被写体が撮像され、その撮像結果か
ら、演算装置２は、上述した場合と同様にして（図２の
フローチャートに示す処理を実行して）、被写体の向き
と角度を検出する。同様に、ステップＳ７２において、
演算装置２は、ビデオカメラ１−２の出力から、被写体
の角度と向きが検出される。First, in step S71, the subject is imaged by the video camera 1-1, and based on the imaged result, the arithmetic unit 2 executes the processing shown in the flowchart of FIG. And detects the direction and angle of the subject. Similarly, in step S72,
The arithmetic unit 2 detects the angle and direction of the subject from the output of the video camera 1-2.
【００３７】ステップＳ７３において、演算装置２は、
ステップＳ７１で検出した被写体の角度と、ステップＳ
７２で検出した被写体の角度とが一致するか否かを判定
する。両者が一致する場合、ステップＳ７４において、
演算装置２は、ステップＳ７１で検出された角度、また
はステップＳ７２で検出された角度の一方（例えば、ス
テップＳ７１で検出された角度）を選択し、出力する。In step S73, the arithmetic unit 2
The angle of the subject detected in step S71 and
It is determined whether or not the angle of the subject detected at 72 matches. If they match, in step S74,
The arithmetic unit 2 selects and outputs one of the angle detected in step S71 or the angle detected in step S72 (for example, the angle detected in step S71).
【００３８】これに対して、ステップＳ７３において、
ステップＳ７１で検出した角度と、ステップＳ７２で検
出した角度とが一致しないと判定された場合、少なくと
もいずれか一方の検出角度は誤っている可能性がある。
そこで、ステップＳ７５において、演算装置２は、ステ
ップＳ７１で検出した角度が予め設定されている所定の
範囲内の角度、すなわち、検出可能な角度の範囲内にあ
るか否かを判定する。検出された角度が所定の範囲内の
角度である場合には、ステップＳ７６に進み、その検出
された角度が正しい角度であるとして、その結果が出力
される。On the other hand, in step S73,
If it is determined that the angle detected in step S71 does not match the angle detected in step S72, at least one of the detected angles may be incorrect.
Therefore, in step S75, the arithmetic unit 2 determines whether the angle detected in step S71 is within a predetermined range, that is, within a range of detectable angles. If the detected angle is within the predetermined range, the process proceeds to step S76, and the result is output assuming that the detected angle is a correct angle.
【００３９】ステップＳ７５において、ステップＳ７１
の検出結果が所定の範囲内の角度を超えていると判定さ
れた場合、ステップＳ７７に進み、ステップＳ７２で検
出した角度が所定の範囲内に含まれているか否かが判定
される。検出された角度が所定の範囲内に含まれている
場合には、ステップＳ７６に進み、ステップＳ７２で検
出した結果が正しい結果であるとして、出力される。In step S75, step S71
If it is determined that the detection result exceeds the angle in the predetermined range, the process proceeds to step S77, and it is determined whether the angle detected in step S72 is included in the predetermined range. If the detected angle is within the predetermined range, the process proceeds to step S76, and the result detected in step S72 is output as a correct result.
【００４０】これに対して、ステップＳ７７において、
ステップＳ７２の検出結果も所定の範囲内に含まれてい
ないと判定された場合、ステップＳ７８に進み、いずれ
の検出結果も誤りであるとして、演算装置２は、図示せ
ぬディスプレイにエラーを表示する。On the other hand, in step S77,
When it is determined that the detection result of step S72 is not included in the predetermined range, the process proceeds to step S78, and it is determined that both detection results are erroneous, and the arithmetic unit 2 displays an error on a display (not shown). .
【００４１】なお、このように、ビデオカメラが２台存
在する場合には、黒い領域の重心Ｇ Bと肌色の領域の重
心ＧSを計算しないでも、例えば図１４に示す処理か
ら、被写体の向きを求めることが可能となる。As described above, there are two video cameras.
If present, the center of gravity G of the black area BAnd weight of skin color area
Heart GSIs not calculated, for example, the process shown in FIG.
Thus, the orientation of the subject can be obtained.
【００４２】すなわち、この場合、最初にステップＳ９
１において、演算装置２は、ビデオカメラ１−１による
面積比Ｒ1を求め、ステップＳ９２において、ビデオカ
メラ１−２による面積比Ｒ2を求める。ステップＳ９３
において、ステップＳ９１で求めた値Ｒ1と、ステップ
Ｓ９２で求めた値Ｒ2の大小が比較される。値Ｒ1が値Ｒ
2より大きい場合には、顔はビデオカメラ１−１の方向
を向いていることを表すフラグが設定される。また、値
Ｒ1の方が値Ｒ2より小さい場合には、ステップＳ９５に
進み、フラグＦにビデオカメラ１−２の方向を向いてい
ることを表すフラグが設定される。That is, in this case, first, step S9
In 1, computing device 2 may determine the area ratio R 1 by the video camera 11, in step S92, obtains the area ratio R 2 by the video camera 1-2. Step S93
In step, the value R 1 obtained in step S91 is compared with the value R 2 obtained in step S92. Value R 1 is value R
If it is larger than 2 , a flag indicating that the face is facing the direction of the video camera 1-1 is set. Further, when the direction of the value R 1 value R 2 is smaller than, the flow proceeds to step S95, a flag indicating that facing the direction of the video camera 1-2 to the flag F is set.
【００４３】また、２台のビデオカメラをそれぞれ異な
る方向に向けた場合には、１台の場合に比べて、検出範
囲をより広くすることが可能となる。When two video cameras are directed in different directions, the detection range can be made wider than in the case of one video camera.
【００４４】図１５は、人間ではなく、ブロックの向き
を検出する場合の例を示している。この例においては、
ブロック２１の面Ａの面積ＳAと、面Ａに対して垂直な
面Ｂの面積ＳBが既知であるものとする。この場合、図
１６のフローチャートの処理が実行される。FIG. 15 shows an example in which the direction of a block is detected instead of a person. In this example,
It is assumed that the area S A of the surface A of the block 21 and the area S B of the surface B perpendicular to the surface A are known. In this case, the processing of the flowchart in FIG. 16 is executed.
【００４５】最初に、ステップＳ１０１において、ビデ
オカメラ１によりブロック２１が撮像される。演算装置
２は、ブロック２１の撮像結果から、ステップＳ１０２
において、面Ａの面積Ｓaを演算する。同様に、ステッ
プＳ１０３において、面Ｂの面積Ｓbが演算される。次
に、ステップＳ１０４において、演算装置２は、ステッ
プＳ１０２とステップＳ１０３の演算により求めた値Ｓ
a，Ｓbを次式に代入して、面Ａの正面となす角度θを求
める。 θ＝（ＳB／ＳA）tan-1（Ｓb／Ｓa）First, in step S101, the video camera 1 captures an image of the block 21. The arithmetic unit 2 calculates the step S102 from the imaging result of the block 21.
In calculates an area S a of the surface A. Similarly, in step S103, the area S b of the surface B is calculated. Next, in step S104, the arithmetic unit 2 calculates the value S obtained by the calculations in steps S102 and S103.
a, by substituting S b in the following equation to determine the angle θ formed by the front surface A. θ = (S B / S A ) tan -1 (S b / S a )
【００４６】なお、ブロック２１の動きを考慮する必要
がない場合には、面積比ではなく、面積そのものから角
度を求めることも可能である。この場合の抽出領域は、
１つで良い。すなわち、面Ａまたは面Ｂだけで良いこと
になる。If it is not necessary to consider the movement of the block 21, the angle can be obtained not from the area ratio but from the area itself. The extraction area in this case is
One is fine. That is, only the surface A or the surface B is sufficient.
【００４７】なお、上記したような処理を行うコンピュ
ータプログラムをユーザに提供する提供媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。[0047] As a providing medium for providing a user with a computer program for performing the above processing,
In addition to recording media such as magnetic disks, CD-ROMs, and solid-state memories, communication media such as networks and satellites can be used.
【００４８】[0048]
【発明の効果】以上の如く、請求項１に記載の画像処理
装置、請求項５に記載の画像処理方法、および請求項６
に記載の提供媒体によれば、第１の領域と第２の領域の
面積の比に基づいて、被写体の向きを演算するようにし
たので、簡単かつ確実に、被写体の向きを求めることが
可能となる。As described above, the image processing apparatus according to the first aspect, the image processing method according to the fifth aspect, and the sixth aspect.
According to the providing medium described in (1), since the direction of the subject is calculated based on the ratio of the areas of the first region and the second region, the direction of the subject can be easily and reliably obtained. Becomes
【図１】本発明を適用した画像処理装置の構成を示す図
である。FIG. 1 is a diagram illustrating a configuration of an image processing apparatus to which the present invention has been applied.
【図２】図１の画像処理装置の動作を説明するフローチ
ャートである。FIG. 2 is a flowchart illustrating an operation of the image processing apparatus of FIG. 1;
【図３】図２のステップＳ２の黒色領域を抽出する処理
を説明するフローチャートである。FIG. 3 is a flowchart illustrating a process of extracting a black region in step S2 of FIG. 2;
【図４】図２のステップＳ２の肌色領域を抽出する処理
を説明するフローチャートである。FIG. 4 is a flowchart illustrating a process of extracting a skin color area in step S2 of FIG. 2;
【図５】図３のステップＳ２１のブロック化処理を説明
する図である。FIG. 5 is a diagram illustrating a blocking process in step S21 of FIG. 3;
【図６】ビデオカメラと被写体の角度を説明する図であ
る。FIG. 6 is a diagram illustrating an angle between a video camera and a subject.
【図７】被写体の向きを説明する図である。FIG. 7 is a diagram illustrating the orientation of a subject.
【図８】センサによる被写体の向きの検出結果を示す図
である。FIG. 8 is a diagram illustrating a detection result of a direction of a subject by a sensor.
【図９】肌色の領域の黒色の領域に対する面積の比の変
化を説明する図である。FIG. 9 is a diagram illustrating a change in a ratio of an area of a skin color region to a black region.
【図１０】髪の領域と顔の領域をブロック化し、抽出し
た処理の例を示す図である。FIG. 10 is a diagram illustrating an example of a process in which a hair region and a face region are blocked and extracted.
【図１１】ビデオカメラと被写体の角度を説明する図で
ある。FIG. 11 is a diagram illustrating an angle between a video camera and a subject.
【図１２】本発明を適用した他の情報処理装置の構成を
示す図である。FIG. 12 is a diagram illustrating a configuration of another information processing apparatus to which the present invention has been applied.
【図１３】図１２の情報処理装置の動作を説明するフロ
ーチャートである。FIG. 13 is a flowchart illustrating an operation of the information processing apparatus in FIG. 12;
【図１４】図１２の情報処理装置の動作を説明するフロ
ーチャートである。FIG. 14 is a flowchart illustrating an operation of the information processing apparatus in FIG. 12;
【図１５】本発明を適用したさらに他の情報処理装置の
構成を示す図である。FIG. 15 is a diagram showing a configuration of still another information processing apparatus to which the present invention has been applied.
【図１６】図１５の情報処理装置の動作を説明するフロ
ーチャートである。FIG. 16 is a flowchart illustrating an operation of the information processing apparatus in FIG. 15;
１，１−１，１−２ ビデオカメラ， ２ 演算装置，
２１ ブロック1,1-1,1-2 video camera, 2 arithmetic unit,
21 blocks
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA20 BA02 CA01 CA08 CA13 CA16 CB01 CB08 CB12 CB16 CC03 CE09 DA20 DC04 DC06 DC08 DC32 5C064 AA02 AC04 AC08 AC09 5L096 AA02 AA06 AA09 BA08 CA02 CA05 EA35 FA45 FA59 FA60 HA01 ──────────────────────────────────────────────────の Continued on the front page F term (reference) 5B057 AA20 BA02 CA01 CA08 CA13 CA16 CB01 CB08 CB12 CB16 CC03 CE09 DA20 DC04 DC06 DC08 DC32 5C064 AA02 AC04 AC08 AC09 5L096 AA02 AA06 AA09 BA08 CA02 CA05 EA35 FA45 FA59 FA59
Claims (6)
第２の領域を抽出する抽出手段と、 前記抽出手段により抽出された前記第１の領域と第２の
領域の面積を演算する第１の演算手段と、 前記演算手段により演算された前記第１の領域と第２の
領域の面積の比を演算する第２の演算手段と、 前記第２の演算手段の演算結果に基づいて、前記被写体
の向きを演算する第３の演算手段とを含むことを特徴と
する画像処理装置。1. An extracting means for extracting a first area and a second area from image data of a subject, and calculating an area of the first area and the second area extracted by the extracting means. A first calculating means, a second calculating means for calculating a ratio of an area of the first region and the area of the second region calculated by the calculating means, based on a calculation result of the second calculating means, An image processing apparatus comprising: a third calculating unit that calculates the direction of the subject.
手段の演算結果を、予め記憶されている基準値と比較す
ることで、前記被写体の角度を演算することを特徴とす
る請求項１に記載の画像処理装置。2. The method according to claim 1, wherein the third calculation unit calculates the angle of the subject by comparing a calculation result of the second calculation unit with a reference value stored in advance. Item 2. The image processing device according to Item 1.
手段の演算結果を、所定の計算式に代入することで、前
記被写体の角度を演算することを特徴とする請求項１に
記載の画像処理装置。3. The method according to claim 1, wherein the third calculating means calculates the angle of the subject by substituting a calculation result of the second calculating means into a predetermined calculation formula. The image processing apparatus according to any one of the preceding claims.
算する第４の演算手段と、 前記第４の演算手段の演算結果に基づいて、前記被写体
の方向を演算する第５の演算手段とを含むことを特徴と
する請求項１に記載の画像処理装置。4. A fourth calculating means for calculating the center of gravity of the first area and the second area, and a fifth calculating means for calculating the direction of the subject based on the calculation result of the fourth calculating means. The image processing apparatus according to claim 1, further comprising a calculating unit.
第２の領域を抽出する抽出ステップと、 前記抽出ステップの処理により抽出された前記第１の領
域と第２の領域の面積を演算する第１の演算ステップ
と、 前記演算ステップの処理により演算された前記第１の領
域と第２の領域の面積の比を演算する第２の演算ステッ
プと、 前記第２の演算ステップでの演算結果に基づいて、前記
被写体の向きを演算する第３の演算ステップとを含むこ
とを特徴とする画像処理方法。5. An extracting step of extracting a first area and a second area from image data of a subject, and calculating an area of the first area and the second area extracted by the processing of the extracting step. A first calculation step, a second calculation step of calculating a ratio of an area of the first region and the area of the second region calculated by the processing of the calculation step, and a calculation in the second calculation step A third calculation step of calculating the orientation of the subject based on the result.
第２の領域を抽出する抽出ステップと、 前記抽出ステップの処理により抽出された前記第１の領
域と第２の領域の面積を演算する第１の演算ステップ
と、 前記演算ステップの処理により演算された前記第１の領
域と第２の領域の面積の比を演算する第２の演算ステッ
プと、 前記第２の演算ステップでの演算結果に基づいて、前記
被写体の向きを演算する第３の演算ステップとを含む処
理を画像処理装置に実行させるコンピュータが読み取り
可能なプログラムを提供することを特徴とする提供媒
体。6. An extraction step of extracting a first area and a second area from image data of a subject, and calculating an area of the first area and the second area extracted by the processing of the extraction step. A first calculation step, a second calculation step of calculating a ratio of an area of the first region and the area of the second region calculated by the processing of the calculation step, and a calculation in the second calculation step A computer-readable program that causes an image processing apparatus to execute a process including a third calculation step of calculating the orientation of the subject based on a result.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06845599A JP4305996B2 (en) | 1999-03-15 | 1999-03-15 | Image processing apparatus and method, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06845599A JP4305996B2 (en) | 1999-03-15 | 1999-03-15 | Image processing apparatus and method, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000268180A true JP2000268180A (en) | 2000-09-29 |
| JP4305996B2 JP4305996B2 (en) | 2009-07-29 |
Family
ID=13374201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06845599A Expired - Lifetime JP4305996B2 (en) | 1999-03-15 | 1999-03-15 | Image processing apparatus and method, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4305996B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001243466A (en) * | 2000-03-02 | 2001-09-07 | Honda Motor Co Ltd | Device and method for face recognition |
| JP2005094406A (en) * | 2003-09-18 | 2005-04-07 | Casio Comput Co Ltd | Device and program for photographing image |
| US9349038B2 (en) | 2012-09-11 | 2016-05-24 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating position of head, computer readable storage medium thereof |
| EP3425906A4 (en) * | 2016-03-04 | 2019-08-28 | BOE Technology Group Co., Ltd. | Electronic device, face recognition and tracking method and three-dimensional display method |
| CN110675834A (en) * | 2019-09-25 | 2020-01-10 | 惠州市华星光电技术有限公司 | Design method and system for improving color race complexion visual angle performance |
-
1999
- 1999-03-15 JP JP06845599A patent/JP4305996B2/en not_active Expired - Lifetime
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001243466A (en) * | 2000-03-02 | 2001-09-07 | Honda Motor Co Ltd | Device and method for face recognition |
| JP2005094406A (en) * | 2003-09-18 | 2005-04-07 | Casio Comput Co Ltd | Device and program for photographing image |
| US9349038B2 (en) | 2012-09-11 | 2016-05-24 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating position of head, computer readable storage medium thereof |
| EP3425906A4 (en) * | 2016-03-04 | 2019-08-28 | BOE Technology Group Co., Ltd. | Electronic device, face recognition and tracking method and three-dimensional display method |
| CN110675834A (en) * | 2019-09-25 | 2020-01-10 | 惠州市华星光电技术有限公司 | Design method and system for improving color race complexion visual angle performance |
| CN110675834B (en) * | 2019-09-25 | 2021-01-01 | 惠州市华星光电技术有限公司 | Design method and system for improving color race complexion visual angle performance |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4305996B2 (en) | 2009-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190220685A1 (en) | Image processing apparatus that identifies object and method therefor | |
| KR101627185B1 (en) | Control method of image photographing apparatus | |
| WO2020156341A1 (en) | Method and apparatus for detecting moving target, and electronic device and storage medium | |
| CN110008795B (en) | Image target tracking method and system and computer readable recording medium | |
| JP4373840B2 (en) | Moving object tracking method, moving object tracking program and recording medium thereof, and moving object tracking apparatus | |
| US20150097812A1 (en) | Interactive operation method of electronic apparatus | |
| JP5001930B2 (en) | Motion recognition apparatus and method | |
| US11765312B2 (en) | Image processing apparatus, image processing apparatus control method, and non-transitory computer-readable storage medium | |
| JP3454726B2 (en) | Face orientation detection method and apparatus | |
| EP3629570A2 (en) | Image capturing apparatus and image recording method | |
| US8718325B2 (en) | Computer-readable storage medium, image processing apparatus, image processing system, and image processing method | |
| US20170344858A1 (en) | Control device, control method, and computer program product | |
| WO2005055143A1 (en) | Person head top detection method, head top detection system, and head top detection program | |
| CN109726613B (en) | Method and device for detection | |
| JP2002342762A (en) | Object tracing method | |
| JP2000268180A (en) | Image processing device and method and provided medium | |
| KR20100121817A (en) | Method for tracking region of eye | |
| TWI471821B (en) | A system, a method, and a recording medium for establishing a correlation for a plurality of images | |
| JPH09265538A (en) | Automatic tracking device | |
| KR20220115223A (en) | Method and apparatus for multi-camera calibration | |
| CN113269761A (en) | Method, device and equipment for detecting reflection | |
| JP5891751B2 (en) | Inter-image difference device and inter-image difference method | |
| CN115362481A (en) | Motion blur robust image feature descriptors | |
| CN111091513A (en) | Image processing method, image processing device, computer-readable storage medium and electronic equipment | |
| Paul et al. | A realtime object tracking system using a color camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090427 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |