JP2005056231A - Image processor - Google Patents
Image processor Download PDFInfo
- Publication number
- JP2005056231A JP2005056231A JP2003287569A JP2003287569A JP2005056231A JP 2005056231 A JP2005056231 A JP 2005056231A JP 2003287569 A JP2003287569 A JP 2003287569A JP 2003287569 A JP2003287569 A JP 2003287569A JP 2005056231 A JP2005056231 A JP 2005056231A
- Authority
- JP
- Japan
- Prior art keywords
- image
- detection
- correction
- unit
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像の中から特定の物***置を検出し、それを利用して画像処理する画像処理装置に関するものである。 The present invention relates to an image processing apparatus that detects a specific object position from an image and performs image processing using the position.
従来、画像の中から特定の物体を検出し、それを利用して画像処理する画像処理装置がいくつか提案されている。 Conventionally, several image processing apparatuses that detect a specific object from an image and perform image processing using the object have been proposed.
例えば、似顔絵を作成する場合、カメラで人物画像を撮影し、その人物画像から顔画像を抽出して、その中から、目、鼻、口といった特定の物体を検出する。そして、これらの物体を強調して似顔絵を作成し、更に、これらの物体を自動的に変形して笑い顔、泣き顔、怒り顔、痩せた顔、太った顔などを作成するものが提案されている（例えば、特許文献１参照）。
しかしながら、従来、提案されているこの種の画像処理装置では、画像の中から特定の物体を検出するという状況の中で、その結果がそれを利用するその後の処理において実際に利用するのにふさわしい状態のものであるかどうか、その妥当性について必ずしも保証がないという問題がある。 However, this type of proposed image processing apparatus is suitable for actual use in subsequent processing using the result in the situation where a specific object is detected from the image. There is a problem that there is no guarantee about the validity of the status.
すなわち、従来の画像処理装置では、どのような入力画像に対しても同様の方法を用いて特定の物体を検出するようにしており、したがって、例えば、検出難しい画像が入力されても充分な精度で検出できるようにしようとした場合、その検出に複雑で処理量の多い検出処理の方法を採用する必要があり、このため、簡単で処理量の少ない粗探索でも充分に良好な結果が得られる画像の場合でも、処理量の大きい探索を行い、その間、早く結果が現われず、ユーザに大きな待ち時間を生じさせるという問題があった。 In other words, the conventional image processing apparatus detects a specific object using the same method for any input image. Therefore, for example, even if an image that is difficult to detect is input, sufficient accuracy is obtained. Therefore, it is necessary to employ a detection method that is complicated and requires a large amount of processing. Therefore, a rough search that is simple and requires a small amount of processing can provide sufficiently good results. Even in the case of an image, there is a problem that a search with a large amount of processing is performed, and during that time, a result does not appear quickly, causing a large waiting time for the user.
本発明は、このような従来の問題に鑑みてなされたものであり、入力された画像に応じた精度により、画像の中から容易に特定の物***置を検索できる画像処理装置を提供するものである。 The present invention has been made in view of such a conventional problem, and provides an image processing apparatus that can easily search for a specific object position from an image with accuracy according to an input image. is there.
本発明の画像処理装置は、画像を入力する画像入力手段と、画像に含まれる物体の物***置を粗検出する第１の物体検出手段と、第１の物体検出手段による粗検出よりも精密に物***置を検出する第２の物体検出手段と、第１の物体検出手段による検出結果を表示する表示手段と表示手段によって表示された検出結果を基に検出結果が妥当であるかどうかを入力可能な操作手段とを備えたユーザインターフェース手段と、ユーザインターフェース手段によって表示された検出結果が妥当でないと入力された場合に、第２の物体検出手段に精密な物***置の検出を指示する制御処理手段とを備えた構成を有する。 The image processing apparatus of the present invention is more precise than the image input means for inputting an image, the first object detection means for roughly detecting the object position of the object included in the image, and the coarse detection by the first object detection means. The second object detection means for detecting the object position, the display means for displaying the detection result by the first object detection means, and whether or not the detection result is valid can be input based on the detection result displayed by the display means. And a control processing means for instructing the second object detection means to accurately detect the object position when the detection result displayed by the user interface means is input as invalid. It has the composition provided with.
第１の物体検出手段と第２の物体検出手段との大きな違いは、検出精度と処理量のどちらを優先するかである。 The major difference between the first object detection means and the second object detection means is whether priority is given to detection accuracy or processing amount.
第１の物体検出手段は、検出精度より処理量の少なさを優先した検出を行うものであり、比較的単純な検出アルゴリズムの利用、又は、探索の位置的間隔を大きくとり、大まか
な探索を行うことで処理量が少ない検出が実行できる。
The first object detection means performs detection giving priority to a small amount of processing over detection accuracy, and uses a relatively simple detection algorithm or increases the positional interval of the search to perform a rough search. By doing so, detection with a small amount of processing can be performed.
また、第２の物体検出手段は、処理量の少なさよりも検出精度を優先した検出を行うものであり、第１の物体検出手段では検出が難しい場合の物体検出を行うためのものである。このため、比較的複雑な検出アルゴリズムを使用することで、探索の位置的間隔を細かくして厳密な位置決めを行ったりするため、処理量も多いが、第１の物体検出手段よりも検出精度が高い検出を行うことができる。 Further, the second object detection means performs detection giving priority to detection accuracy over a small amount of processing, and is for performing object detection when detection is difficult with the first object detection means. For this reason, a relatively complicated detection algorithm is used to finely position the search with a fine interval, so that the processing amount is large, but the detection accuracy is higher than that of the first object detection means. High detection can be performed.
この構成により、第１の物体検出手段による検出結果をユーザインターフェース手段で表示し、その妥当性を確認した上で、そのまま使用するか、第２の物体検出手段で再び精度の高い検出を行わせるか選択することができるようになり、したがって、物体の検出難易度に応じて段階的に精度を上げた検出処理を行うことができ、最終的に検出ミスが少なく、かつ画像に応じた処理時間で所望の結果を得ることができるという作用を有する。 With this configuration, the detection result by the first object detection means is displayed on the user interface means, and after confirming its validity, it can be used as it is, or the second object detection means can perform highly accurate detection again. Therefore, it is possible to perform a detection process with a step-by-step increase in accuracy according to the degree of object detection difficulty, and finally there are few detection errors and the processing time according to the image It has an effect that a desired result can be obtained.
また、本発明の画像処理装置は、第２の物体検出手段で検出された物***置の修正を行う位置修正処理手段を更に備え、ユーザインターフェース手段で表示された検出結果が妥当でない場合に、位置修正処理手段によって物***置の修正が可能になる構成を有する。この構成により、第２の物体検出手段で検出された物***置が妥当でない場合、それを位置修正処理手段で修正することができ、より正確な検出処理を行うことが可能になる。 In addition, the image processing apparatus of the present invention further includes a position correction processing unit that corrects the object position detected by the second object detection unit, and when the detection result displayed by the user interface unit is not valid, An object position can be corrected by the correction processing means. With this configuration, when the object position detected by the second object detection unit is not valid, it can be corrected by the position correction processing unit, and more accurate detection processing can be performed.
また、本発明の画像処理装置は、画像が人物の顔を含む画像であり、物体が人物の顔の一部または全部である構成を有する。この構成により、人物の顔から効率的に顔の一部または全部の位置を検出することができるという作用を有する。 The image processing apparatus of the present invention has a configuration in which the image is an image including a human face and the object is a part or all of the human face. With this configuration, there is an effect that the position of a part or all of the face can be efficiently detected from the face of the person.
また、本発明の画像処理装置は、第１の物体検出手段と第２の物体検出手段との少なくとも一方によって検出された物***置の検出結果の履歴を格納する検出履歴格納手段と、検出履歴格納手段に格納された物***置の平均である物体平均位置を算出する平均算出手段とを更に備え、位置修正処理手段が物***置の検出結果と物体平均位置との誤差を算出し、誤差の大きい物体順に物***置の検出結果を表示手段に表示指示する構成を有する。 The image processing apparatus according to the present invention includes a detection history storage unit that stores a history of detection results of object positions detected by at least one of the first object detection unit and the second object detection unit, and a detection history storage. Means for calculating an object average position that is an average of the object positions stored in the means, and the position correction processing means calculates an error between the detection result of the object position and the object average position, and an object having a large error In this configuration, the object position detection result is instructed to be displayed on the display means.
この構成により、第１物体検出手段と第２の物体検出手段との少なくとも一方によって検出された物体の位置が間違っている可能性の高い物***置から順に修正対象としてそれをユーザインターフェース手段に表示指示することができ、修正作業を効率よく行うことができるという作用を有する。 With this configuration, the object position detected by at least one of the first object detection unit and the second object detection unit is displayed in the user interface unit as a correction target in order from the object position that is likely to be wrong. And the correction work can be performed efficiently.
また、本発明の画像処理装置は、位置修正処理手段による物体毎の物***置修正回数の履歴を格納する修正履歴格納手段を更に備え、ユーザインターフェース手段が物***置修正回数の多い順に物***置の修正指示を行う構成を有する。この構成により、ユーザインターフェース手段が、物***置修正回数の多い順に物***置の修正を指示することになり、修正作業をより効率よく行うことができるという作用を有する。 The image processing apparatus of the present invention further includes a correction history storage unit that stores a history of the number of object position corrections for each object by the position correction processing unit, and the user interface unit corrects object positions in descending order of the number of object position corrections. It has a configuration for giving instructions. With this configuration, the user interface means instructs correction of the object position in order of increasing object position correction, and the correction operation can be performed more efficiently.
また、本発明の画像処理装置は、修正指示が、物***置を修正すべき修正対象物体の指定であり、第２の物体検出手段が、第１の物体検出手段より精密に修正対象物体の物***置を検出する構成を有する。この構成により、位置検出を間違えた物体のみを指定すれば自動修正が行われるため、処理時間を短縮し、かつユーザの負担を軽減するという作用を有する。 In the image processing apparatus of the present invention, the correction instruction is a designation of a correction target object whose object position is to be corrected, and the second object detection unit is more precisely the object of the correction target object than the first object detection unit. It has a configuration for detecting the position. With this configuration, if only an object whose position is detected incorrectly is specified, automatic correction is performed, so that the processing time is shortened and the burden on the user is reduced.
また、本発明の画像処理装置は、修正指示が、物***置を修正すべき修正対象物体および修正対象物体の現在の物***置から見た修正対象物体の正しい物***置の検出方向の指定であり、第２の物体検出手段が、修正対象物体の現在の物***置から検出方向の周辺領
域で第１の物体検出手段より精密に修正対象物体の物***置を検出するものである構成を有する。
In the image processing apparatus of the present invention, the correction instruction is a specification of the correction target object whose object position is to be corrected and the detection direction of the correct object position of the correction target object viewed from the current object position of the correction target object, The second object detection unit has a configuration in which the object position of the correction target object is detected more precisely than the first object detection unit in the peripheral region in the detection direction from the current object position of the correction target object.
この構成により、位置検出を間違えた物体と正解位置の方向のみを指定すれば自動的に修正が行われることになり、処理時間を短縮し、かつ、ユーザの負担を軽減することができるという作用を有する。 With this configuration, if only the object with the wrong position detection and the direction of the correct answer position are specified, the correction is automatically performed, and the processing time can be shortened and the burden on the user can be reduced. Have
また、本発明の画像処理装置は、物体間の相対的な物***置の関係を格納した相対位置データベースと、物***置が２つ以上修正された場合に、修正された物***置の物体と相対位置データベースに格納された物体間の相対的な位置関係とから物***置が未修正である未修正物体の新しい物***置を算出する追加修正処理手段とを備えた構成を有している。 In addition, the image processing apparatus of the present invention includes a relative position database that stores the relationship of relative object positions between objects, and the object and relative position of the corrected object position when two or more object positions are corrected. And an additional correction processing unit that calculates a new object position of the uncorrected object whose object position is not corrected from the relative positional relationship between the objects stored in the database.
この構成により、少数の修正指示で効率的に全体の修正が行え、ユーザの負担が軽減できるという作用を有する。 With this configuration, the entire correction can be performed efficiently with a small number of correction instructions, and the burden on the user can be reduced.
また、本発明の画像処理装置は、物体間の相対的な物***置の関係を格納した相対位置データベースと、物***置が２つ以上修正された場合に、修正された物***置の物体と相対位置データベースに格納された物体間の相対的な位置関係とから物***置が未修正である未修正物体の補正位置を計算し、補正位置の周辺領域で第１の物体検出手段よりも精密に未修正物体の物***置を算出する追加修正処理手段とを備えた構成を有する。 In addition, the image processing apparatus of the present invention includes a relative position database that stores the relationship of relative object positions between objects, and the object and relative position of the corrected object position when two or more object positions are corrected. The correction position of the uncorrected object whose object position is uncorrected is calculated from the relative positional relationship between the objects stored in the database, and is corrected more precisely than the first object detection means in the peripheral area of the correction position. And an additional correction processing unit that calculates the object position of the object.
この構成により、２つ以上の物***置が修正された場合に、修正された物***置の物体と物体間の相対的な位置関係から未修正物体の補正位置を計算し、補正位置の周辺領域で第１の物体検出手段よりも精密に未修正物体の位置検出を行うことができるようになり、より少数の修正指示で効率的に全体の修正が行え、ユーザの負担を軽減できるという作用を有する。 With this configuration, when two or more object positions are corrected, the correction position of the uncorrected object is calculated from the relative positional relationship between the object at the corrected object position, and the area around the correction position is calculated. The position of an uncorrected object can be detected more precisely than the first object detection means, and the entire correction can be performed efficiently with a smaller number of correction instructions, thereby reducing the burden on the user. .
本発明は、画像に含まれる物体の物***置を粗検出する第１の物体検出手段と、第１の物体検出手段による粗検出よりも精密に物***置を検出する第２の物体検出手段と、第１の物体検出手段による検出結果が妥当であるかどうかを入力可能な操作手段と、検出結果が妥当でない旨をユーザから入力された場合に、第２の物体検出手段に精密な検出を指示する制御処理手段とを備えたものであり、第１の物体検出手段によって検出された物***置をユーザインターフェース手段で表示し、その妥当性を確認した上で、そのまま使用するか、第２の物体検出手段で精度の高い検出を行わせるか、ユーザインターフェース手段によって選択することができるようになり、物体の位置検出の難易度に応じて段階的に精度を上げた検出処理を行うことができ、最終的に検出ミスが少なく、かつ画像に応じた処理時間で所望の結果を得ることができる。 The present invention includes a first object detection unit that roughly detects an object position of an object included in an image, a second object detection unit that detects an object position more precisely than the rough detection by the first object detection unit, An operation means capable of inputting whether the detection result by the first object detection means is valid, and instructing the second object detection means to perform accurate detection when the user inputs that the detection result is not valid. A control processing means for displaying the object position detected by the first object detection means on the user interface means and confirming the validity thereof, or use it as it is, or the second object The detection means can perform detection with high accuracy or can be selected by the user interface means, and the detection process is performed in a stepwise manner according to the difficulty of detecting the position of the object. Can finally detection error is small, and the processing time corresponding to the image to obtain the desired results.
以下、本発明の実施の形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
（第１の実施の形態）
図１は、本発明の第１の実施の形態における画像処理装置の概略ブロック図である。
(First embodiment)
FIG. 1 is a schematic block diagram of an image processing apparatus according to the first embodiment of the present invention.
本実施の形態における画像処理装置は、図１に示すように、カメラやその他の通信手段などよりなる画像入力部１０１と、入力された画像の中から特定の物体を粗検出する第１の物体検出部１０２と、第１の物体検出部１０２より更に精密に特定の物体を検出する第２の物体検出部１０３と、これらの物体検出部１０２、１０３で検出された特定の物体を
利用して画像処理する画像処理部１０４と、入力された画像や検出された特定の物体、更には、画像処理された画像などを表示する表示部（図示せず）とそれらの表示に基づいて任意の各種の指令や情報を入力可能な入力部（図示せず）とを備えたユーザインターフェース部１０５と、これらを制御する制御処理部１０６とを備えている。
As shown in FIG. 1, the image processing apparatus according to the present embodiment includes an
なお、本実施の形態では、画像入力部１０１で、人物の２次元画像を入力し、第１、第２の物体検出部１０２、１０３で、画像入力部１０１より入力された人物の２次元画像の中から特定の物体として顔部品の位置、例えば、図３に示すように、眉頭、眉尻、目頭、目尻、鼻、口のそれぞれ上下左右の端の位置を検出するように構成されている。
In the present embodiment, a two-dimensional image of a person is input by the
そして、第１の物体検出部１０２は、例えば、顔の濃淡パターンと顔部品位置の相関情報をあらかじめ学習させておき、検出時に入力画像内の顔の濃淡パターンと学習した相関情報から直接的に顔部品の位置座標を求めるような、計算量が少なく比較的高速な手法を用いて顔部品の位置を粗検出するように構成されている。この相関情報を利用した手法は、顔全体の濃淡パターンのような大域的な情報を用いて顔部品のおおまかな位置を確率的に求めるもので、精度は比較的粗いが、繰り返し探索を行わない直接計算で解が得られるため処理量が少ない検出ができる。
Then, for example, the first
また、第２の物体検出部１０３は、例えば、代表的な顔部品のパターンを予め用意しておき、画像入力部１０１より入力した画像の中からこの顔部品のパターンに最も一致する場所を繰り返し計算によって探索する所謂テンプレートマッチ法のような、計算量は大きいが、第１の物体検出部１０２より遥かに高精度に検出が可能なように構成されている。
In addition, the second
テンプレートマッチ法は、第１の物体検出部で用いた相関情報を利用した手法とは異なり、目、鼻、口の形状などの局所的情報を用いて部品位置の繰り返し探索を行うもので、処理量は大きいが高精度な探索が可能である。 Unlike the method using the correlation information used in the first object detection unit, the template match method is an iterative search for component positions using local information such as the shape of eyes, nose, and mouth. Although the amount is large, a highly accurate search is possible.
画像処理部１０４は、検出された顔部品の位置から、人物の顔の３次元モデルを生成し、これを変形させることによって一枚の人物画像から様々な表情の画像を作り出す処理を行う。また、ユーザインターフェース部１０５は、第１、第２の物体検出部１０２、１０３によって検出された顔部品の位置を表示部に表示し、ユーザの指示を受け付けて入力部より制御処理部１０６にその指示を送信する処理を行う。
The
制御処理部１０６は、画像入力部１０１、第１、第２の物体検出部１０２、１０３、画像処理部１０４、ユーザインターフェース部１０５をそれぞれ制御するように構成されている。
The
次に、本実施の形態について、その動作を図２に示すフローチャートを用いて詳細に説明する。 Next, the operation of this embodiment will be described in detail with reference to the flowchart shown in FIG.
画像入力部１０１で人物画像を撮影し、制御処理部１０６に入力すると（Ｓ２０１）、入力された人物画像は、制御処理部１０６の制御の基で、まず第１の物体検出部１０２に送られる。第１の物体検出部１０２は、入力された人物画像から顔部品の位置を粗検出し（Ｓ２０２）、制御処理部１０６に送信する。
When a human image is captured by the
制御処理部１０６は、入力された人物画像と検出された顔部品の位置データをそれぞれユーザインターフェース部１０５に送信し、ユーザインターフェース部１０５は、入力された人物画像と検出された顔部品の位置をそれぞれ表示部で表示する。そして、この状態で、この顔部品の位置でよいかどうか、ユーザに確認させる（Ｓ２０３）。
The
なお、この場合、検出された顔部品の位置がユーザに分かりやすいように、図４に示すように、人物画像の上に点またはマークを用いて顔部品の位置を表示する。そして、「この検出結果でいいですか？」というようなガイダンスを同時に表示し、ユーザに「はい」「いいえ」のいずれかを入力するように促す。 In this case, as shown in FIG. 4, the position of the face part is displayed on the person image using dots or marks so that the user can easily understand the position of the detected face part. Then, a guidance such as “Is this detection result OK?” Is displayed at the same time, and the user is prompted to input “Yes” or “No”.
ユーザがこの顔部品の位置検出結果でよいと判断し、ユーザインターフェース部１０５を構成する入力部を用いてこの顔部品の位置検出結果でよい旨の入力（例えば、「はい」の入力）を行った場合（Ｓ２０３のＯＫ）には、この顔部品の位置検出結果に基づいて顔の変形パターンの指示を行うステップ（Ｓ２０７）に移行する。したがって、この段階で顔の変形パターンの指示を行えば、その指示に従って画像入力部１０１より入力された画像が画像処理部１０４で画像処理され、指示された顔の変形パターンの画像に変形される（Ｓ２０８）。
The user determines that the position detection result of the face part is acceptable, and uses the input unit constituting the
ユーザがこの顔部品検出結果では不十分であると判断し、ユーザインターフェース部１０５を用いてこの顔部品の位置検出結果では不十分である旨の入力（例えば、「いいえ」の入力）を行った場合（Ｓ２０３のＮＧ）には、制御処理部１０６が、その指示を受けて、第２の物体検出部１０３に画像入力部１０１より入力された人物画像を送信する。第２の物体検出部１０３は、入力した人物画像から顔部品の位置を第１の物体検出部１０２より更に精密に検出し（Ｓ２０４）、制御部１０６に送信する。
The user determines that the face part detection result is insufficient, and uses the
尚、このとき、制御処理部１０６が、第１の物体検出部１０２で検出した顔部品の検出結果をも第２の物体検出部１０３に送信し、第２の物体検出部１０３が、第１の物体検出部１０２で検出した顔部品の検出結果を基に、この検出結果の周辺領域で検出処理を行うようにしてもよい。
At this time, the
このようにして、第２の物体検出部１０３が顔部品の位置を精密に検出すると（Ｓ２０４）、制御処理部１０６は、入力された人物画像と第２の物体検出部１０３で検出された顔部品の位置データをユーザインターフェース部１０５に送信する。ユーザインターフェース部１０５は、入力された人物画像と検出された顔部品の位置を表示部で表示し、この検出結果でよいかどうかをユーザに確認させる（Ｓ２０５）。
Thus, when the second
この場合、検出された顔部品の位置がユーザに分かりやすいように、前回同様、図４に示すように、人物画像の上に点またはマークを用いて顔部品の位置を表示する。そして、「この検出結果でいいですか？」というようなガイダンスを同時に表示し、ユーザに「はい」「いいえ」のいずれかを入力するように促す。 In this case, as shown in FIG. 4, the position of the face part is displayed on the person image using a point or a mark as shown in FIG. 4 so that the user can easily understand the position of the detected face part. Then, a guidance such as “Is this detection result OK?” Is displayed at the same time, and the user is prompted to input “Yes” or “No”.
ユーザがこの顔部品の位置検出結果でよいと判断し、ユーザインターフェース部１０５を用いてこの顔部品の位置検出結果でよい旨の入力（例えば、「はい」の入力）を行った場合（Ｓ２０５のＯＫ）には、この顔部品の位置検出結果に基づいて顔の変形パターンの指示を行うステップ（Ｓ２０７）に移行する。したがって、この段階で顔の変形パターンの指示を行えば、その指示に従って画像入力部１０１より入力された画像が画像処理部１０４で画像処理され、指示された顔の変形パターンの画像に変形される（Ｓ２０８）。
When the user determines that the position detection result of the face part is acceptable, and performs an input (for example, “Yes” input) indicating that the position detection result of the face part is acceptable using the user interface unit 105 (in S205) In OK, the process proceeds to a step (S207) of instructing a face deformation pattern based on the position detection result of the face part. Therefore, if a face deformation pattern is instructed at this stage, an image input from the
ユーザがこの顔部品検出結果では不十分であると判断し、ユーザインターフェース部１０５を用いてこの顔部品の位置検出結果では不十分である旨の入力（例えば、「いいえ」の入力）を行った場合（Ｓ２０５のＮＧ）には、制御処理部１０６が、その指示を受けて、ユーザインターフェース部１０５に対し、ユーザが手入力によって顔部品の位置を直接指定できるようにする（Ｓ２０６）。
The user determines that the face part detection result is insufficient, and uses the
顔部品の位置を直接指定できるようにする場合、例えば、図５に示すように、修正対象
となる顔部品の位置を示す点を他の顔部品と区別してユーザが判別しやすいように表示し、その位置を直接、ユーザインターフェース部１０５を用いて任意の位置（ユーザが正解と思う任意の位置、正解位置）に移動したり、直接、正解位置を指定したりできるようにすればよい。
When it is possible to directly specify the position of the face part, for example, as shown in FIG. 5, a point indicating the position of the face part to be corrected is displayed so as to be easily distinguished by distinguishing it from other face parts. The position may be directly moved to an arbitrary position (an arbitrary position that the user thinks is correct, the correct position) using the
例えば、画像処理装置がパソコンであれば、マウス、或いは、カーソルキーなどを用いて修正対象となる顔部品の位置を直接正解位置に移動するようにすればよく、また、ＰＤＡなどのタッチパッドを備えた端末であれば、修正対象となる顔部品の位置の正解位置を直接指定するようにすればよい。また、携帯電話などであれば、カーソルキーを用いて修正対象となる顔部品の位置を直接正解位置に移動したり、数字キーにそれぞれカーソルの移動方向を割当て、それを用いて修正対象となる顔部品の位置を正解位置に移動したりするようにすればよい。 For example, if the image processing apparatus is a personal computer, the position of the facial part to be corrected may be moved directly to the correct position using a mouse or cursor keys, and a touch pad such as a PDA may be used. If the terminal is equipped, the correct position of the position of the face part to be corrected may be directly specified. In the case of a mobile phone or the like, the position of the face part to be corrected is directly moved to the correct position by using the cursor key, or the cursor moving direction is assigned to each of the numeric keys and is used for correction. The position of the face part may be moved to the correct position.
このようにして、修正対象となる顔部品の位置を任意に修正し、修正完了したことを、ユーザインターフェース部１０５を用いて入力すれば、その入力に従って顔の変形パターンの指示を行うステップ（Ｓ２０７）に移行する。したがって、この段階で顔の変形パターンの指示を行えば、その指示に従って画像入力部１０１より入力された画像が画像処理部１０４で画像処理され、指示された顔の変形パターンの画像に変形される（Ｓ２０８）。
In this way, if the
なお、変形パターンの指示を行い（Ｓ２０７）、その指示に従って、指示された顔の変形パターンの画像に変形される（Ｓ２０８）場合の動作は、次のように実行される。変形パターンの指示を行うと（Ｓ２０７）、制御処理部１０６が、画像入力部１０１より入力した人物の顔画像、第１又は第２の物体検出部１０２で検出したそれぞれの顔部品の位置情報、ユーザインターフェース部１０５を通して入力した変形パターンの指示をそれぞれ画像処理部１０４に送る。
The operation when the deformation pattern is instructed (S207) and the image is transformed into the image of the instructed face deformation pattern according to the instruction (S208) is executed as follows. When the deformation pattern is instructed (S207), the
すると、画像処理部１０４が、これらの情報及び指示を基に、顔の３次元モデルを生成し、その３次元モデルを指示された変形パターンに従って変形する。その結果、指示された変形パターンの画像が生成され、その画像が制御処理部１０６の制御の基でユーザインターフェース部１０５に供給される。ユーザインターフェース部１０５は、その画像を表示部に表示し、ユーザの用に供する。
Then, the
ところで、本実施の形態において、顔の変形パターンとは、顔の表情を表すいくつかのパターンであり、例えば、笑い顔、泣き顔、驚いた顔、怒った顔といったそれぞれのパターンを意味する。すなわち、このような複数の変形パターンから１つの変形パターンを指示すれば、それに従って、画像入力部１０１から入力された画像が画像処理部１０４で画像処理され、指示された顔の変形パターン、例えば、笑い顔の画像に変形されると言うことである。
By the way, in this embodiment, the face deformation pattern is a number of patterns representing facial expressions, and means, for example, patterns such as a laughing face, a crying face, a surprised face, and an angry face. That is, if one deformation pattern is specified from such a plurality of deformation patterns, the image input from the
以上のように、本実施の形態によれば、画像入力部１０１より入力した画像を先ず第１の物体検出部１０２に入力し、ここで特定の物体を粗検出し、その結果をユーザインターフェースに表示し、ＯＫであれば、そのまま画像処理し、ＮＧであれば、更に第２の物体検出部１０３に入力し、ここで特定の物体を精密に検出し、ＯＫであれば、それを基に画像処理し、ＮＧであれば、更に特定の物体の位置を手入力で修正し、その後、画像処理するようにしており、それぞれの段階でＯＫか、ＮＧかを判断し、その指示に従うようにしているため、入力された画像の中から特定の物体を自動的に検出するのに、粗検出だけで充分である場合には、その粗検索された物体の位置情報を用いて直ちに画像処理することができ、特定の物体を検出する場合の難易度に応じてそれぞれ最適の処理を行うことができると言う作用を有する。
As described above, according to the present embodiment, an image input from the
（第２の実施の形態）
図６は、本発明の第２の実施における画像処理装置の概略ブロック図である。
(Second Embodiment)
FIG. 6 is a schematic block diagram of an image processing apparatus according to the second embodiment of the present invention.
本発明の第２の実施における画像処理装置は、画像入力部６０１、第１の物体検出部６０２、修正回数履歴データベース６０３、修正処理部６０４、第２の物体検出部６０５、物体間位置関係データベース６０６、追加修正処理部６０７、画像処理部６０８、ユーザインターフェース部６０９、制御処理部６１０を備えている。
An image processing apparatus according to the second embodiment of the present invention includes an
ここで、画像入力部６０１、第１、第２の物体検出部６０２、６０５、画像処理部６０８、ユーザインターフェース部６０９、制御処理部６１０は、それぞれ図１に示した画像入力部１０１、第１、第２の物体検出部１０２、１０３、画像処理部１０４、ユーザインターフェース部１０５、制御処理部１０６と実質的に同様の機能を有するものであるので、その詳細な説明は省略する。
Here, the
本実施の形態において、修正回数履歴データベース６０３は、顔部品毎に、ユーザが位置修正を指示した回数の履歴を保持する。修正処理部６０４は、修正回数データベース６０３に蓄積されたユーザの修正回数履歴を更新し、また、第２の物体検出部６０５にユーザからの修正指示を送る機能を有する。物体間位置関係データベース６０６は、図３に示すような、物体としての顔部品の間の位置関係を保持する。
In the present embodiment, the correction
追加修正処理部６０７は、ユーザが指定した複数の顔部品の位置から、部品間の位置関係を利用して残りの顔部品の位置を検出する。残りの顔部品の位置を検出する検出手法は、第２の物体検出部６０５と同様、計算量は大きいが高精度な検出が行える手法を用いている。
The additional
次に、本実施の形態について、その動作を図７を用いて詳細に説明する。 Next, the operation of this embodiment will be described in detail with reference to FIG.
画像入力部６０１で人物画像を撮影し、制御処理部６１０に入力すると（Ｓ７０１）、入力された人物画像は、制御処理部６１０を通して第１の物体検出部６０２に送られる。第１の物体検出部６０２は、入力された人物画像から顔部品位置を粗検出し（Ｓ７０２）、顔部品位置の検出結果を制御処理部６１０に送信する。制御処理部６１０は、人物画像と顔部品位置の検出結果をユーザインターフェース部６０９に送信する。
When a human image is captured by the
ユーザインターフェース部６０９は、入力された人物画像と検出された顔部品位置を共に表示部で表示し、その結果を基に、顔画像生成などの画像処理を行うかどうかの判断を、入力部を用いてユーザに入力するように促す（Ｓ７０３）。
The
ユーザが、表示部に表示された顔部品検出結果を基にユーザインターフェース部６０９の入力部を用いて顔画像生成処理を行うと入力した場合（Ｓ７０３のＯＫ）は、処理Ｓ７１４に進む。ユーザが、この顔部品検出結果では不十分であると入力をした場合（Ｓ７０３のＮＧ）は、制御処理部６１０が、修正処理部６０４に対して顔部品毎のユーザの修正回数履歴を要求する。
When the user inputs that the face image generation processing is performed using the input unit of the
修正処理部６０４は、修正回数履歴データベース６０３から顔部品毎の修正回数履歴を読み出し、制御処理部６１０に送信する。制御処理部６１０は、修正回数の多い顔部品から順に修正候補顔部品としてユーザインターフェース部６０９に入力画像と現在の検出結果とを表示し（Ｓ７０４）、修正候補顔部品の位置を修正するかどうかの判断を入力させる（Ｓ７０５）。
The
ユーザが修正を必要としないと判断し、その旨を、ユーザインターフェース部６０９を用いて入力した場合（Ｓ７０５のＮＯ）は、処理Ｓ７１３に進む。修正が必要と判断した場合（Ｓ７０５のＹＥＳ）は、ユーザインターフェース部６０９から、正しい顔部品が、現在の検出位置からどの方向にあるか、すなわち探索方向を入力させる（Ｓ７０６）。
If the user determines that no correction is required and inputs that fact using the user interface unit 609 (NO in S705), the process proceeds to step S713. When it is determined that correction is necessary (YES in S705), the
検索方向の入力は、パソコンであれば、図８に示すように、マウスやカーソルキーで検出位置から出ている矢印の向きを変更させるか、キーボードのテンキーで簡単に８方向を入力するようにすればよく、携帯電話などであれば、カーソルキーで探索方向の矢印の向きを変化させるか、数字キーにテンキーと同様に方向を割り当ててもよい。 In the case of a personal computer, as shown in FIG. 8, the search direction can be input by changing the direction of the arrow coming out of the detection position with the mouse or the cursor key, or simply inputting the eight directions with the numeric keypad of the keyboard. If it is a mobile phone or the like, the direction of the arrow in the search direction may be changed with the cursor key, or the direction may be assigned to the numeric key in the same manner as the numeric keypad.
探索方向が入力されると、制御処理部６１０は、入力された人物画像、第１の物体検出部６０２による顔部品の検出結果、修正対象となる顔部品がどれであるかという情報、修正対象の顔部品における探索方向をそれぞれ修正処理部６０４に送信する。修正処理部６０４は、修正対象となる顔部品について、第１の物体検出部６０２による検出位置から探索方向に向かって探索を行い、検出結果を修正処理部６０４に送る（Ｓ７０７）。
When the search direction is input, the
修正処理部６０４は、検出結果を制御処理部６１０に送り、修正回数履歴データベース６０３にある顔部品の修正回数履歴を更新する。制御処理部６１０は、人物画像と修正対象の顔部品位置データをユーザインターフェース部６０９に送信し、ユーザインターフェース部６０９は、人物画像と修正対象の顔部品位置を表示部に表示し、この顔部品検出結果で良いかどうかユーザの判断を入力させる（Ｓ７０８）。
The
ユーザが、この顔部品検出結果で良いと入力した場合（Ｓ７０８のＯＫ）は、処理Ｓ６１０に進む。ユーザが、この顔部品検出結果では不十分であると入力した場合（Ｓ７０８のＮＧ）は、制御処理部６１０が、ユーザインターフェース部６０９からユーザに正しい顔部品位置を直接指定するよう要求する（Ｓ７０９）。
If the user inputs that the facial part detection result is acceptable (OK in S708), the process proceeds to step S610. When the user inputs that the face part detection result is insufficient (NG in S708), the
顔部品の位置を直接指定する場合の例を図９に示す。修正対象となる顔部品位置を示す点を他の顔部品と区別してユーザが判別しやすいように表示し、部品位置の移動は、パソコンなどであれば、正解位置をマウスで指定、或いは、キーボードのカーソルキーなどで部品位置を示す点を移動させればおく、また、情報端末装置など、タッチパッドを備えている端末であれば、位置を直接指定してもよい。 An example in the case of directly specifying the position of the face part is shown in FIG. The point indicating the position of the facial part to be corrected is displayed so that the user can easily distinguish it from other facial parts. For the movement of the part position, the correct position can be specified with a mouse or the keyboard if it is a personal computer. The point indicating the part position may be moved by using the cursor key, or the position may be directly specified for a terminal equipped with a touch pad such as an information terminal device.
更に、携帯電話機などであれば、カーソルキーで部品位置を示す点を移動させたり、或いは、テンキーに方向を割り当てて、それによって部品位置を示す点をそれぞれ移動させたりするようにしてもよい。 Further, in the case of a mobile phone or the like, a point indicating the part position may be moved with a cursor key, or a direction indicating the part position may be moved by assigning a direction to the numeric keypad.
もし、２つ以上の顔部品の位置が決定または修正済みである場合、決定または修正した顔部品の位置を基準にして、まだ修正していない部品位置を自動的に修正するかどうかを、ユーザインターフェース６０９を通してユーザに入力を求める（Ｓ７１０）。この場合の画面の例を図１０に示す。決定または修正された顔部品は、未修正である顔部品とマークまたは色を変更して表示し、ユーザが判断しやすいようにする。 If the positions of two or more facial parts have been determined or corrected, the user determines whether or not to automatically correct a part position that has not been corrected based on the determined or corrected position of the facial part. The user is requested to input through the interface 609 (S710). An example of the screen in this case is shown in FIG. The determined or corrected face part is displayed with the mark or color changed from that of the uncorrected face part so that the user can easily judge.
ユーザが自動修正しないと入力した場合（Ｓ７１０のＮＯ）は、処理Ｓ７１３に進む。自動修正すると入力した場合（Ｓ７１０のＹＥＳ）は、制御処理部６１０が、追加修正処理部６０７に、入力画像とすでに修正または決定済みの顔部品の情報を送る。追加修正処理部６０７は、部品間位置関係データベース６０６に格納されている顔部品間の位置関係情報を基に、未修正である顔部品位置の概ねの位置を算出する。
If the user inputs that automatic correction is not to be performed (NO in S710), the process proceeds to step S713. When the automatic correction is input (YES in S710), the
２つ以上の顔部品位置と、全顔部品の相対的な位置関係が確定していれば、顔部品間の
距離から全体の縮尺比率が決定できるため、残りの顔部品位置も計算することができる。算出された概ねの位置の周辺で、各顔部品をそれぞれ探索し（Ｓ７１１）、検出結果を制御処理部６１０に送信する。
If the relative positional relationship between two or more face part positions and all the face parts is determined, the overall scale ratio can be determined from the distance between the face parts, so the remaining face part positions can also be calculated. it can. Each facial part is searched around the calculated approximate position (S711), and the detection result is transmitted to the
制御処理部６１０は、人物画像と全顔部品の位置データをユーザインターフェース部６０９に送信し、ユーザインターフェース部６０９は、人物画像と、全顔部品の位置を表示部に表示し、この顔部品検出結果で良いかユーザの判断を求める（Ｓ７１２）。ユーザが、この顔部品検出結果では不十分という入力をした場合（Ｓ７１２のＮＧ）は、処理Ｓ７０４に戻って再び部品位置修正を繰り返す。ユーザが、この顔部品検出結果で良いと入力した場合（Ｓ７１２のＯＫ）は、処理Ｓ７１３に進む。
The
全顔部品の位置修正が終了すれば（Ｓ７１３のＹＥＳ）、ユーザインターフェース部６０９が、人物画像の表情をどのように変化させるかの表情変化の指示をユーザに入力させ（Ｓ７１４）、制御処理部６１０に送信する。人物の表情は、例えば、笑う、泣く、驚く、怒る、などの表情である。
When the position correction of all the facial parts is completed (YES in S713), the
制御処理部６１０は、人物顔画像と顔部品位置、表情変化の指示を顔画像生成部６０８に送り、顔画像生成部６０８は、顔部品の位置を基に、顔の３次元モデルを生成し、これを変形させる（Ｓ７１５）ことによって人物画像からユーザが指定した表情の画像を生成し、制御処理部６１０に送信する。制御処理部６１０は、ユーザインターフェース部６０９を通して生成画像をユーザに表示する（Ｓ７１６）。
The
以上のように、本実施の形態によれば、入力画像からの特定の物体を検出する場合、それぞれ検出精度（速度）の異なる２つの検出部を用い、それらをユーザに選択可能としており、また、修正を希望する場合、その希望する顔部品のみを修正することができ、効率が良いと言う効果を有する。また、正しく検出された顔部品や修正済みの顔部品位置から、修正したい顔部品の位置を自動修正することも可能であり、このため、入力画像ごとの検出の難易度に応じて最適な処理時間で所望の結果が得られるという効果を有する。 As described above, according to the present embodiment, when a specific object is detected from an input image, two detection units having different detection accuracy (speed) are used, and the user can select them. When a correction is desired, only the desired facial part can be corrected, which has the effect of high efficiency. It is also possible to automatically correct the position of the face part to be corrected from the face parts that have been detected correctly or the corrected face parts position. The desired result can be obtained in time.
なお、実施の形態では、画像処理部で入力された画像を変形し、笑い顔、泣き顔、怒り顔などを生成するようにしているが、その他の処理を行なっても良いことは言うまでもないことである。 In the embodiment, the image input by the image processing unit is deformed to generate a laughing face, a crying face, an angry face, etc. It goes without saying that other processes may be performed. is there.
以上のように本発明によれば、第１の物体検出手段によって検出された物***置をユーザインターフェース手段で表示し、その妥当性を確認した上で、そのまま使用するか、第２の物体検出手段で精度の高い検出を行わせるか、ユーザインターフェース手段によって選択することができるようになり、物体の位置検出の難易度に応じて段階的に精度を上げた検出処理を行うことができ、最終的に検出ミスが少なく、かつ画像に応じた処理時間で所望の結果を得ることができるため、画像の中から特定の物***置を検出し、それを利用して画像処理する画像処理装置等として有用である。 As described above, according to the present invention, the object position detected by the first object detecting means is displayed on the user interface means, and the validity thereof is confirmed and used as it is, or the second object detecting means is used. Can be selected by the user interface means, and the detection process can be performed with step-by-step accuracy according to the degree of difficulty in detecting the position of the object. Therefore, it is useful as an image processing device that detects a specific object position from an image and uses it to perform image processing. It is.
１０１、６０１ 画像入力部
１０２、６０２ 第１の物体検出部
１０３、６０５ 第２の物体検出部
１０４、６０８ 画像処理部
１０５、６０９ ユーザインターフェース部
１０６、６１０ 制御処理部
６０３ 修正回数履歴データベース
６０４ 修正処理部
６０６ 物体間位置関係データベース
６０７ 追加修正処理部
101, 601
Claims (9)
の補正位置を計算し、前記補正位置の周辺領域で前記第１の物体検出手段よりも精密に前記未修正物体の物***置を算出する追加修正処理手段と、を備えたことを特徴とする請求項２乃至請求項７のいずれかに記載の画像処理装置。
A relative position database storing the relationship of relative object positions between the objects, and when two or more of the object positions are corrected, the object of the corrected object position and the relative position database stored in the relative position database; The correction position of the uncorrected object whose object position is uncorrected is calculated from the relative positional relationship between the objects, and the uncorrected object is more precisely compared with the first object detection means in the peripheral region of the correction position. The image processing apparatus according to claim 2, further comprising an additional correction processing unit that calculates an object position.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003287569A JP2005056231A (en) | 2003-08-06 | 2003-08-06 | Image processor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003287569A JP2005056231A (en) | 2003-08-06 | 2003-08-06 | Image processor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005056231A true JP2005056231A (en) | 2005-03-03 |
| JP2005056231A5 JP2005056231A5 (en) | 2007-01-11 |
Family
ID=34366519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003287569A Pending JP2005056231A (en) | 2003-08-06 | 2003-08-06 | Image processor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005056231A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008311922A (en) * | 2007-06-14 | 2008-12-25 | Fujifilm Corp | Imaging apparatus |
| JP2008311921A (en) * | 2007-06-14 | 2008-12-25 | Fujifilm Corp | Imaging apparatus |
| US8019128B2 (en) | 2007-01-31 | 2011-09-13 | Brother Kogyo Kabushiki Kaisha | Face detection device |
| US20110267368A1 (en) * | 2006-01-26 | 2011-11-03 | Adobe Systems Incorporated | Indicating a correspondence between an image and an object |
| US8254644B2 (en) | 2006-02-10 | 2012-08-28 | Fujifilm Corporation | Method, apparatus, and program for detecting facial characteristic points |
| US8259995B1 (en) | 2006-01-26 | 2012-09-04 | Adobe Systems Incorporated | Designating a tag icon |
| JP2014016761A (en) * | 2012-07-09 | 2014-01-30 | Casio Comput Co Ltd | Image processing apparatus, image processing method, and image generation method and program |
| WO2018168041A1 (en) * | 2017-03-14 | 2018-09-20 | オムロン株式会社 | Image processing apparatus |
| CN110084766A (en) * | 2019-05-08 | 2019-08-02 | 北京市商汤科技开发有限公司 | A kind of image processing method, device and electronic equipment |
-
2003
- 2003-08-06 JP JP2003287569A patent/JP2005056231A/en active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8548211B2 (en) * | 2006-01-26 | 2013-10-01 | Adobe Systems Incorporated | Indicating a correspondence between an image and an object |
| US20110267368A1 (en) * | 2006-01-26 | 2011-11-03 | Adobe Systems Incorporated | Indicating a correspondence between an image and an object |
| US8259995B1 (en) | 2006-01-26 | 2012-09-04 | Adobe Systems Incorporated | Designating a tag icon |
| US8577099B2 (en) | 2006-02-10 | 2013-11-05 | Fujifilm Corporation | Method, apparatus, and program for detecting facial characteristic points |
| US8254644B2 (en) | 2006-02-10 | 2012-08-28 | Fujifilm Corporation | Method, apparatus, and program for detecting facial characteristic points |
| US8019128B2 (en) | 2007-01-31 | 2011-09-13 | Brother Kogyo Kabushiki Kaisha | Face detection device |
| JP2008311922A (en) * | 2007-06-14 | 2008-12-25 | Fujifilm Corp | Imaging apparatus |
| JP2008311921A (en) * | 2007-06-14 | 2008-12-25 | Fujifilm Corp | Imaging apparatus |
| JP2014016761A (en) * | 2012-07-09 | 2014-01-30 | Casio Comput Co Ltd | Image processing apparatus, image processing method, and image generation method and program |
| JP2018151938A (en) * | 2017-03-14 | 2018-09-27 | オムロン株式会社 | Image processing device |
| WO2018168041A1 (en) * | 2017-03-14 | 2018-09-20 | オムロン株式会社 | Image processing apparatus |
| CN110268416A (en) * | 2017-03-14 | 2019-09-20 | 欧姆龙株式会社 | Image processing apparatus |
| US11222439B2 (en) | 2017-03-14 | 2022-01-11 | Omron Corporation | Image processing apparatus with learners for detecting orientation and position of feature points of a facial image |
| CN110084766A (en) * | 2019-05-08 | 2019-08-02 | 北京市商汤科技开发有限公司 | A kind of image processing method, device and electronic equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6937995B2 (en) | Object recognition processing device and method, and object picking device and method | |
| CN108961144B (en) | Image processing system | |
| EP2302581A1 (en) | Finger shape estimating device, and finger shape estimating method and program | |
| KR20150076627A (en) | System and method for learning driving information in vehicle | |
| CN108549878B (en) | Depth information-based hand detection method and system | |
| JPWO2018087933A1 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| JP2005056231A (en) | Image processor | |
| EP3127586B1 (en) | Interactive system, remote controller and operating method thereof | |
| KR20140009013A (en) | Method and apparatus for modeling 3d face, method and apparatus for tracking face | |
| US11327630B1 (en) | Devices, methods, systems, and media for selecting virtual objects for extended reality interaction | |
| JP2007052575A (en) | Metadata applying device and metadata applying method | |
| JP2022039895A (en) | Image correction method and system based on deep learning | |
| CN114170407B (en) | Model mapping method, device, equipment and storage medium for input equipment | |
| JP2007241833A (en) | Recognition device, recognition system, shape recognition method, program and computer readable recording medium | |
| CN112643718B (en) | Image processing apparatus, control method therefor, and storage medium storing control program therefor | |
| JP2003340652A (en) | Electric discharge machine | |
| US11559888B2 (en) | Annotation device | |
| JP2005056231A5 (en) | ||
| JP6213380B2 (en) | Display device, image forming apparatus, display control program, and image forming program | |
| JP2010102504A (en) | Eye region detection device and program | |
| CN106127731B (en) | Weld joint recognition method based on touch-control mark and image procossing | |
| JP6833114B1 (en) | Work image search device and work image search method | |
| WO2023188160A1 (en) | Input assistance device, input assistance method, and non-transitory computer-readable medium | |
| US12051135B2 (en) | System and method for a precise semantic segmentation | |
| WO2023188216A1 (en) | Information processing program, information processing method, and information processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060707 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060821 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061121 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090721 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091117 |