JP7386007B2 - 画像処理方法、画像処理装置及び画像処理機器 - Google Patents

画像処理方法、画像処理装置及び画像処理機器 Download PDF

Info

Publication number
JP7386007B2
JP7386007B2 JP2019128083A JP2019128083A JP7386007B2 JP 7386007 B2 JP7386007 B2 JP 7386007B2 JP 2019128083 A JP2019128083 A JP 2019128083A JP 2019128083 A JP2019128083 A JP 2019128083A JP 7386007 B2 JP7386007 B2 JP 7386007B2
Authority
JP
Japan
Prior art keywords
image
size
target range
trajectory
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019128083A
Other languages
English (en)
Other versions
JP2020013567A (ja
Inventor
シーホン グオ
シンユ グオ
アンシン リ
ラン チン
直季 亀山
友惠 後
尚史 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of JP2020013567A publication Critical patent/JP2020013567A/ja
Application granted granted Critical
Publication of JP7386007B2 publication Critical patent/JP7386007B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Storing Facsimile Image Data (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、画像処理の分野に関し、特に、画像処理方法、画像処理装置、画像処理機器、及びコンピュータ可読記憶媒体に関する。
ディープニューラルネットワークは、大規模で、マルチパラメータで最適化されたツールである。ディープニューラルネットワークは、大量のトレーニングデータに依存し、学習を通じて、データに隠されたまとめられにくい特徴を確定することができ、それによって、複数の複雑なタスク、例えば顔検出、画像意味分割、物体検出、動作追跡、自然言語翻訳などを完成することができる。
現在、ディープニューラルネットワークは、物体表面の亀裂検出のような複雑なタスクに用いられ、人間の目による検出よりも高い検出精度を実現することが期待されている。亀裂検出のためのニューラルネットワークモデルを得るためには、亀裂がマークされた大量のトレーニング画像(すなわち、トレーニングデータ)を用いて、ニューラルネットワークをトレーニングしておく必要がある。したがって、ディープニューラルネットワークに基づく亀裂検出の性能および効果は、提供されたトレーニングデータに大きく依存する。従来の技術では、トレーニングデータは、多くの作業者が画像中の亀裂を手作業でマーキングすることによって取得されることが多い。しかしながら、画像を人手でマーキングして得られたトレーニングデータには、理論的な認知錯誤又は視覚錯誤が存在する可能性があり、これらの両方は、得られたトレーニングデータの不正確さをもたらす恐れがある。また、大量のトレーニングデータを取得することには、作業者がより長い時間を要する可能性がある。作業者に大きな精神的な又は視覚的な負担をもたらし、間違ったマッチングが生じやすくなり、工業生産には適さない。
本発明は、上記の問題に鑑みて提案されたものである。本発明は、画像処理方法、画像処理装置、画像処理機器及びコンピュータ可読記憶媒体を提供する。
本発明の一態様によれば、操作入力を受け付けることと、前記操作入力に基づいて、処理対象となる画像から目標範囲を決定することと、前記目標範囲において、所定の数、所定のサイズの切り出し画像を生成することと、を含む画像処理方法が提供される。なお、前記目標範囲のサイズは、前記切り出し画像のサイズと所定の比例になる。
本発明の一態様によれば、操作入力を受け付けるように配置される操作入力受付部と、操作入力に基づいて、処理対象となる画像から目標範囲を決定するように配置される目標範囲決定部と、前記目標範囲内において、所定数の所定サイズの切り出し画像を生成するように配置される切り出し画像生成部と、を備える画像処理装置が提供される。なお、前記目標範囲のサイズは、前記切り出し画像のサイズと所定の比例になる。
本開示の一態様によれば、コンピュータ可読命令を記憶するように配置されるメモリと、前記メモリに記憶された前記コンピュータ可読命令を実行するように配置されるプロセッサと、を備える画像処理機器が提供される。また、前記プロセッサが前記コンピュータ可読命令を実行するとき、以下のステップを実行する。即ち、操作入力を受け付けるステップと、前記操作入力に基づいて、処理対象となる画像から目標範囲を決定するステップと、前記目標範囲において、所定数の所定サイズの切り出し画像を生成するステップである。なお、前記目標範囲のサイズは、前記切り出し画像のサイズと所定の比例になる。
本開示の一態様によれば、コンピュータ可読命令が記憶されたコンピュータ可読記憶媒体が提供され、コンピュータ可読命令がコンピュータによって実行されるとき、コンピュータは、以下のステップを実行する。即ち、操作入力を受け付けるステップと、前記操作入力に基づいて、処理対象となる画像から目標範囲を決定するステップと、前記目標範囲において、所定数の所定サイズの切り出し画像を生成するステップである。なお、前記目標範囲のサイズは、前記切り出し画像のサイズと所定の比例になる。
本発明の上記態様によれば、ユーザは簡単な操作入力を行うだけで、切り出し画像を自動的かつ正確に生成することができ、それによって、ディープニューラルネットワークにマーキングされたトレーニング用画像(トレーニングデータ)を提供することができると共に、理論認知錯誤と視覚錯誤を減少させ、人手によるマーキングのコストを減少させることができる。
本開示の上記と他の目的、特徴および利点は、添付の図面を参照して本開示の実施形態をより詳細に説明することによって、より明らかになる。図面は、本開示の実施形態のさらなる理解を提供するものであり、明細書の一部を構成し、本開示の実施形態と共に本開示を説明するものであり、本開示を限定するものではない。図面において、同一の符号は、通常、同一の構成要素またはステップを示す。
本発明の実施形態を実現するための画像処理方法のフローチャートである。 本発明の第1の実施形態に係る処理対象となる画像から目標範囲を決定する例を示す図である。 本発明の第2の実施形態に係る処理対象となる画像から目標範囲を決定するフローチャートである。 本発明の第2の実施形態に係る処理対象となる画像から目標範囲を決定する例を示す図である。 本発明の第2の実施形態に係る処理対象となる画像から目標範囲を決定する例を示す図である。 本発明の第1の実施形態に係る切り出し画像を生成する手順を示す説明図である。 本発明の第2の実施形態に係る切り出し画像を生成する手順を示す説明図である。 本発明の実施形態に係る画像処理装置の概略図である。 本発明の実施形態に係る画像処理機器の概略図である。 本発明の実施形態に係るコンピュータ可読記憶媒体の概略図である。
以下、本発明の実施形態に係る図面を参照して、本発明の実施形態に係る技術案を明確かつ完全に説明する。勿論、説明された実施形態は、本開示の一部の実施形態に過ぎず、全ての実施形態ではない。本開示の実施形態に基づいて、当業者が創造的な労働を必要とせずに得られる他の全ての実施形態は、本開示の範囲内に属する。
まず、図1を参照して、本発明の実施形態を実現するための画像処理方法について説明する。この方法は、コンピュータによって実行されることができる。この方法によれば、ユーザが簡単な操作入力を行うだけで、自動的に正確に切り出し画像を生成することができ、ディープニューラルネットワークにマーキングされたトレーニング用画像を提供することができる。
図1に示すように、ステップS101では、ユーザによる操作入力を受け付ける。操作入力を受け付ける方法としては、例えば、マウスの画像上の対応する位置のクリック及びスライドを追跡することにより受け付けてもよいし、コンピュータに接続されたスタイラスのクリック及びスライドを追跡することにより受け付けてもよい。前記の操作入力を受け付ける方法は一例に過ぎず、実際の状況に応じて柔軟に選択することができることを理解すべきである。
ステップS102では、この操作入力に基づいて、切り出し画像のサイズと所定の比例になるサイズの目標範囲を処理対象となる画像から決定する。本発明の第1の実施形態では、操作入力は処理対象となる画像における特定の点を指定することに用いられ、目標範囲を処理対象となる画像から決定することは、当該特定の点を中心として当該目標範囲を特定することを含む。
最初に、例えば、操作入力は、処理対象となる画像上のマウス又はスタイラスによるユーザのクリックに対応することができ、このクリックは、処理対象となる画像における特定の点を指定する。例えば、ユーザが画像処理により工業用途に用いられる物体の亀裂をマーキングしようとする場合、この操作入力は、処理対象となる画像のうちユーザがクリックした画像における亀裂または亀裂近傍の特定の点を指定することに用いられる。
次に、この特定の点を中心として、切り出し画像のサイズと所定の比例になるサイズの目標範囲を決定する。切り出し画像のサイズは、ユーザが所望するサイズである。例えば、本実施形態では、この特定の点を中心として、半径が特定値となる円形領域を目標範囲とし、円形領域のサイズは、切り出し画像のサイズよりも大きい。別の例として、この特定の点を中心として、切り出し画像のサイズよりも大きいサイズの正方形を目標範囲として決定し、生成された正方形の目標範囲が切り出し画像を完全にカバーするようにしてもよい。さらに別の例として、この特定の点を中心として、その長さおよび幅は切り出し画像の長さおよび幅と所定の比例値になった矩形を目標範囲として決定し、ここで、生成された目標範囲は、切り出し画像を完全にカバーするように所定の比例値を1よりも大きいとする。なお、前記目標範囲の形状は一例に過ぎず、必要に応じて所望の目標範囲の形状を柔軟に選択することができる。
図2は本発明の第1の実施形態に係る処理対象となる画像から目標範囲を決定する例を示す図である。図2に示すように、コンピュータは、処理対象となる画像上のマウス又はスタイラスによるユーザのクリックに応じて、処理対象となる画像における特定の点20(ドットで示す)を指定し、この特定の点20を中心として、矩形領域を目標範囲22として決定する。目標範囲22の長さ及び幅は、切り出し画像21の長さ及び幅と所定の比例値になり、この所定の比例値は1よりも大きい。例えば、所定の比例値を、1より大きい任意の数とすることができる。例えば、切り出し画像21のサイズが96×96画素である場合、目標範囲は128×128画素と決定されることができる。
あるいは、目標範囲からユーザが所望する切り出し画像を選択するために、所定の比例値を必要に応じて3/2、2または3などとしてもよい。しかしながら、選択された所定の比例値が大きすぎると、対象画像から選択された不要な切り出し画像が多すぎて、記憶スペースが無駄になるおそれがある。選択された所定の比例値が約1であると、対象画像から選択された重複する切り出し画像が多すぎてしまうおそれがある。したがって、必要に応じて、所定の比例値を柔軟に決定すべきである。
本発明の第2の実施形態では、操作入力は、処理対象となる画像の特定の軌跡を指定することに用いられ、処理対象となる画像から目標範囲を決定することは、特定の軌跡に基づいて軌跡範囲を決定することと、切り出し画像のサイズをステップサイズとして軌跡範囲を走査することと、各当該ステップサイズを中心として、各当該ステップサイズに対応する目標範囲を決定することとを含む。例えば、操作入力は、処理対象となる画像上のマウス又はスタイラスによるユーザのスライドに対応してもよい。このスライドは、処理対象となる画像における特定の軌跡を指定する。例えば、ユーザが画像処理によって工業用途に用いられる物体の亀裂をマーキングしようとする場合、この操作入力は、処理対象となる画像におけるユーザが亀裂上を滑る軌跡を指定するために用いられる。
図3は本発明の第2の実施形態に係る処理対象となる画像から目標範囲を決定するフローチャートである。図3に示すように、ステップS201において、特定の軌跡に基づいて軌跡範囲が決定される。例えば、この軌跡範囲は、特定の軌跡の開始位置及び終了位置に基づいて決定されてもよい。軌跡範囲を決定する態様は、これに限定されるものではなく、他の態様に基づいて軌跡範囲を決定することもできることを理解すべきである。
ステップS202では、軌跡範囲を決定した後、切り出し画像のサイズをステップサイズとして軌跡範囲を走査する。例えば、切り出し画像のサイズをステップサイズとして、軌跡範囲内で軌跡範囲を横方向および縦方向に走査する。なお、軌跡範囲を走査する時の切り出し画像の重なりはランダムであってもよいし、必要に応じて予め設定されていてもよい。
ステップS203では、各ステップサイズを中心として、本発明の第1の実施形態のように各ステップサイズに対応する目標範囲を決定する。例えば、各ステップサイズの中心を本発明の第1の実施形態に係る特定の点として、切り出し画像のサイズと所定の比例になるサイズの目標範囲を決定する。
図4a、4bは本発明の第2の実施形態に係る処理対象となる画像から目標範囲を決定する例を示す図である。図4aに示すように、コンピュータは、処理対象となる画像上のマウスやスタイラスによるユーザのスライドに基づいて、処理対象となる画像における特定の軌跡31を指定する。例えば、その特定の軌跡31の開始位置と終了位置に基づいて軌跡範囲30を決定する。図4bに示すように、軌跡範囲30が決定された後、切り出し画像32をステップサイズとして軌跡範囲30を横方向および縦方向に同時に走査する。切り出し画像33及び切り出し画像34は、軌跡範囲30を横方向に走査する例を示す。次に、各ステップサイズを中心として、各ステップサイズの中心を本発明の第1の実施形態に係る特定の点として、切り出し画像のサイズと所定の比例になるサイズの目標範囲を決定する。例えば、この目標範囲(図示せず)は、円形、三角形、又は正方形であってもよい。
図1に戻り、ステップS103では、目標範囲内で所定数の所定サイズの切り出し画像を生成する。例えば、目標範囲を決定した後、目標範囲内で所定数の所定サイズの切り出し画像をランダムに生成するようにしてもよい。あるいは、目標範囲における異なる位置に生成される切り出し画像の数を予め設定しておいてもよい。例えば、目標範囲のエッジよりも目標範囲の中心に生成される切り出し画像の数が大きく設定されていてもよい。また、生成される切り出し画像の数やサイズは、ユーザのニーズに応じて予め設定されていてもよい。
切り出し画像を生成したら、コンピュータによって自動的に名を付けて保存することができる。例えば、ユーザが工業用途において亀裂をマーキングするためにこの方法を使用することを望む場合、切り出し画像を生成した後、コンピュータは、生成された切り出し画像を自動的に「亀裂」と命名し、コンピュータにおいて対応する目標パスに保存する。また、異なる操作に応じて、異なるタグを自動的に設定することもできる。一例として、マウスの左右ボタンに応じて複数のタグを設定することができる。例えば、コンピュータがマウスの左ボタンのクリックおよびスライドを受け付けると、前記の方法により生成された切り出し画像は、自動的に「亀裂」としてマークされ、対応する目標パスに自動的に保存され、コンピュータがマウスの右ボタンのクリックおよびスライドを受け付けると、上記の方法により生成された切り出し画像は、自動的に「非亀裂」としてマークされ、「亀裂」の目標パスと異なる目標パスに自動的に保存される。また、他の例として、キーボードの入力に応じて複数のタグを設定するようにしてもよい。例えば、キーボードの異なる入力に対して予め異なるタグ種別を設定しておき、キーボードを介して入力すると、最終的に生成された切り出し画像が自動的に命名され、対応するタグ種別の目標パスに保存されるようにしてもよい。なお、上記のタグの設定方法はこれに限定されるものではなく、必要に応じて異なる方法で異なるタグを設定するようにしてもよい。
図5は本発明の第1の実施形態に係る切り出し画像を生成する手順を示す図である。図5に示すように、コンピュータは、処理対象となる画像(左側の画像)における特定の点を指定するためのユーザの操作入力を受け付ける。この操作入力に基づいて、コンピュータは、所望の切り出し画像(右側の画像)のサイズと所定の比例になるサイズの目標範囲を決定する。例えば、目標範囲のサイズは、切り出し画像のサイズの2倍、3倍等であってもよい。目標範囲が決定されると、その目標範囲内において、所定数の所定サイズのユーザが所望する切り出し画像が生成される。切り出し画像を生成したら、コンピュータによって自動的に名を付けて保存することができる。
図6は本発明の第2の実施形態に係る切り出し画像を生成する手順を示す図である。図6に示すように、コンピュータは、処理対象となる画像(左側の画像)における特定の軌跡を指定するためのユーザの操作入力を受け付ける。この特定の軌跡に基づいて軌跡範囲が決定され、例えば、軌跡範囲は、特定の軌跡の開始位置および終了位置によって決定されてもよい。軌跡範囲が決定されると、ユーザが所望する切り出し画像(右側の画像)のサイズをステップサイズとして、上記軌跡範囲を走査する。最後に、各ステップサイズを中心として、各ステップサイズに対応する目標範囲が決定される。目標範囲を決定する方法は、例えば、前記の第1の実施形態に係る方法で目標範囲を決定することを含む。例えば、各ステップサイズの中心を前記の第1の実施形態に係る特定の点として目標範囲を決定する。目標範囲が決定されると、その目標範囲内において、所定数の所定サイズのユーザが所望する切り出し画像が生成される。切り出し画像を生成したら、コンピュータによって自動的に名を付けて保存することができる。
次に、図7を参照して、本発明の実施形態に係る画像処理装置について説明する。図7は本発明の実施形態に係る画像処理装置の概略図である。本実施形態の画像処理装置の機能は、図1を参照して説明した方法と同様であるので、簡単にするために、詳細な説明を省略する。図7に示すように、画像処理装置1000は、操作入力受付部1001と、目標範囲決定部1002と、切り出し画像生成部1003と、切り出し画像保存部1004とを備える。なお、図7では、画像処理装置1000が4つの部のみを含むように示しているが、これは例示に過ぎず、画像処理装置1000は、1つ以上の他の部を含んでいてもよく、これらの部は本発明の思想に関係しないのでここでは省略される。
操作入力受付部1001は、ユーザによる操作入力を受け付けることができる。操作入力を受け付ける方法は複数があり、例えば、画像上の対応する位置におけるマウスのクリック及びスライドを追跡することにより操作入力を受け付けてもよいし、スタイラスのクリック及びスライドを追跡することにより操作入力を受け付けてもよい。前記の操作入力を受け付ける方法は一例であり、実際の状況に応じて柔軟に選択することができることを理解すべきである。目標範囲決定部1002は、操作入力に基づいて、処理対象となる画像のサイズと所定の比例になるサイズの目標範囲を処理対象となる画像から決定する。
本発明の第1の実施形態において、操作入力は、処理対象となる画像中の特定の点を指定するために用いられる。処理対象となる画像から目標範囲を指定することは、当該特定の点を中心として、当該目標範囲を決定することを含む。最初に、例えば、操作入力は、処理対象となる画像におけるマウス又はスタイラスによるユーザのクリックに対応することができ、このクリックは、処理対象となる画像の特定の点を指定する。
次に、この特定の点を中心として目標範囲を決定する。目標範囲のサイズは切り出し画像のサイズと所定の比例になる。その切り出し画像のサイズはユーザが所望する画像のサイズである。例えば、本実施形態では、この特定の点を中心として、半径が特定値となる円形領域を目標範囲と定義する。また、円形領域のサイズは切り出し画像のサイズよりも大きい。別の例として、この特定の点を中心として、生成された正方形の目標範囲が切り出し画像を完全にカバーするように切り出し画像のサイズよりも大きいサイズの正方形を目標範囲として決定してもよい。さらに、別の例として、この特定の点を中心として、その長さおよび幅が切り出し画像の長さおよび幅と所定の比例値になる矩形を目標範囲として決定してもよい。ここで、生成された目標範囲は、切り出し画像を完全にカバーできるように所定の比例値を1よりも大きいとする。なお、前記した目標範囲の形状は一例に過ぎず、所望の目標範囲の形状を必要に応じて柔軟に選択することができることを理解すべきである。
本発明の第2の実施形態では、操作入力は、処理対象となる画像における特定の軌跡を指定することに用いられ、処理対象となる画像から目標範囲を決定することは、特定の軌跡に基づいて軌跡範囲を決定することと、切り出し画像のサイズをステップサイズとして軌跡範囲を走査することと、各当該ステップサイズを中心として、各当該ステップサイズに対応する目標範囲を決定することとを含む。最初に、例えば、操作入力は、処理対象となる画像におけるマウス又はスタイラスによるユーザのスライドに対応することができ、このスライドは、処理対象となる画像における特定の軌跡を指定する。
次に、特定の軌跡に基づいて軌跡範囲を決定する。例えば、軌跡範囲は、特定の軌跡の開始位置及び終了位置に基づいて決定されてもよい。軌跡範囲を決定する態様は、これに限定されるものではなく、他の態様に基づいて軌跡範囲を決定することもできることを理解すべきである。軌跡範囲を決定したら、切り出し画像のサイズをステップサイズとして軌跡範囲を走査する。例えば、切り出し画像のサイズをステップサイズとして、軌跡範囲内で軌跡範囲を横方向および縦方向に走査する。
最後に、各ステップサイズを中心として、本発明の第1の実施形態のように各ステップサイズに対応する目標範囲を決定する。切り出し画像生成部1003は、目標範囲内に所定数の所定サイズの切り出し画像を生成する。例えば、目標範囲が決定された後、切り出し画像生成部1003は、目標範囲内で所定数の所定サイズの切り出し画像をランダムに生成してもよい。あるいは、目標範囲の異なる位置に生成される切り出し画像の数を予め設定してもよい。例えば、目標範囲のエッジよりも目標範囲の中心に生成される切り出し画像の数が大きく設定されてもよい。なお、生成される切り出し画像の数やサイズは、ユーザのニーズに応じて予め設定されてもよい。
切り出し画像を生成した後、自動的に命名された切り出し画像は切り出し画像保存部1004によって記憶されてもよい。次に、図8を参照して、本発明の実施形態に係る画像処理機器について説明する。図8は本発明の一実施形態に係る画像処理機器の概略図である。本実施形態の画像処理装置の機能は、図1を参照して説明した方法と同様であるので、簡単にするために、詳細な説明を省略する。
図8に示すように、画像処理機器1100は、メモリ1101と、プロセッサ1102と、を備える。なお、図8では、画像処理機器1100が2つのデバイスのみを含むことを示しているが、これは例示に過ぎず、画像処理機器1100は、1つ以上の他のデバイスを含んでいてもよく、これらのデバイスは、本発明の思想に関係ないのでここでは省略される。
本発明の画像処理機器1100は、コンピュータ可読命令を記憶するように構成されたメモリ1101と、メモリに記憶されたコンピュータ可読命令を実行するように構成されたプロセッサ1102とを備える。プロセッサ1102は、コンピュータ可読命令を処理して実行するときに、以下のステップを実行する。即ち、操作入力を受け付けることと、操作入力に基づいて、処理対象となる画像から目標範囲を決定することと、目標範囲内で、所定数の所定サイズの切り出し画像を生成することである。ここで、目標範囲のサイズは、処理対象となる画像のサイズと所定の比例になる。
本発明の第1の実施形態では、操作入力は、処理対象となる画像における特定の点を指定することに用いられ、前記処理対象となる画像から目標範囲を指定することは、特定の点を中心としてこの目標範囲を決定することを含む。
本発明の第2の実施形態では、操作入力は、処理対象となる画像における特定の軌跡を指定することに用いられ、前記処理対象となる画像から目標範囲を決定することは、特定の軌跡に基づいてこの軌跡範囲を決定することと、切り出し画像のサイズをステップサイズとしてこの軌跡範囲を走査することと、各当該ステップサイズを中心として、各当該ステップサイズに対応する目標範囲を決定することを含む。ここで、当該特定の軌跡に基づいてこの軌跡範囲を決定することは、当該特定の軌跡の開始位置及び終了位置に基づいてこの軌跡範囲を決定することを含む。目標範囲が決定されると、この目標範囲から所定数の所定サイズの切り出し画像がランダムに生成され、自動的に命名された当該切り出し画像がメモリ1101に記憶される。
図9は本開示の実施形態に係るコンピュータ可読記憶媒体を示す概略図である。図9に示すように、本開示は、コンピュータ可読命令1201が記憶されるコンピュータ可読記憶媒体1200を含み、コンピュータ可読命令がコンピュータによって実行されるときに、コンピュータは、以下のステップを実行する。即ち、操作入力を受け付けることと、この操作入力に基づいて、処理対象となる画像から目標範囲を決定することと、この目標範囲において、所定数の所定サイズの切り出し画像を生成することである。ここで、この目標範囲のサイズは、当該切り出し画像のサイズと所定の比例になる。
以上から、本開示の上記態様では、ユーザの操作入力(例えば、マウスまたはスタイラスのクリックまたはスライド)を受け付け、その操作入力に基づいて、処理対象となる画像から例えば円形、三角形、長方形などの目標範囲を決定し、この目標範囲内において、所定数の所定サイズの切り出し画像がコンピュータにより生成されることがわかる。ここで、目標範囲のサイズは、切り出し画像のサイズと所定の比例になる。この方法により、作業者の操作入力が少なくても、自動的かつ正確に切り出し画像を生成することができる。これにより、ニューラルネットワークにマーキングされたトレーニング画像を提供することができ、理論的な認知錯誤や視覚錯誤の低減及び人手によるマーキングのコストの低減を実現することができる。
当業者に理解されるように、本出願の各方面は、いくつかの特許可能な種類または状況によって説明又は解釈することができ、新規および有用なプロセス、機械、製品または物質の組み合わせを含み、或いはそれらに対する任意の新規又は有用な改良を含む。それに応じて、本出願の各方面は、完全にハードウェアによって実行されてもよく、或いは、完全にソフトウェア(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)によって実行されてもよく、或いは、ハードウェアとソフトウェアの組み合わせによって実行されてもよい。上記のハードウェアまたはソフトウェアは、「データブロック」、「モジュール」、「エンジン」、「ユニット」、「コンポーネント」、または「システム」と呼ぶことができる。さらに、本出願の各方面は、1つまたは複数のコンピュータ可読媒体内にあるコンピュータ製品であってもよく、当該製品は、コンピュータ可読プログラムコードを含む。
本出願は、本出願の実施形態を説明するために特定の用語を使用する。「一実施形態」、「一つの実施形態」、および/または「いくつかの実施形態」とは、本願の少なくとも1つの実施形態に関連する特定の特徴、構造、または特性を意味する。したがって、本明細書において異なる位置で2回以上言及される「一実施形態」または「一つの実施形態」または「代替的な実施形態」は、必ずしも同じ実施形態を意味するものではないことを理解すべきである。さらに、本出願の1つまたは複数の実施形態に係る特定の特徴、構造、または特性を適切に組み合わせることができる。他に定義されない限り、本明細書で用いられる全ての用語(技術用語及び科学用語を含む)は、本開示が属する領域の当業者によって理解されるものと同じ意味を有する。また、一般的な辞書に定義されているような用語は、本明細書で明確に定義されていない限り、関連技術の文脈におけるそれらの意味と一致する意味を有するものとして解釈されるべきであり、理想化されまたは極端に形式化された意味で解釈されるべきではない。上記内容は本開示に対する説明であり、それを限定するものとみなされるべきではない。本開示のいくつかの例示的な実施形態を説明したが、当業者であれば、本開示の新規な教示および利点から逸脱することなく、例示的な実施形態に多くの修正を加えることができる。したがって、それらの全ての修正は、特許請求の範囲によって定義される本開示の範囲内に含まれることが意図される。上記内容は本開示に対する説明であり、開示された特定の実施形態に限定されるものとみなされるべきではなく、開示された実施形態および他の実施形態の修正は、添付された特許請求の範囲の範囲内に含まれることが意図される。本開示は、特許請求の範囲およびその等価物によって定義される。

Claims (13)

  1. 操作入力を受け付けることと、
    前記操作入力に基づいて、処理対象となる画像から目標範囲を決定することと、
    前記目標範囲内において、所定数の所定サイズの切り出し画像を生成することと、を含み、
    前記目標範囲のサイズは、前記切り出し画像のサイズと所定の比例になり、
    前記操作入力は、前記処理対象となる画像における特定の軌跡を指定するために用いられ、
    前記処理対象となる画像から目標範囲を決定することは、
    前記特定の軌跡に基づいて、軌跡範囲を決定することと、
    前記切り出し画像のサイズをステップサイズとして、前記軌跡範囲を走査することと、
    各前記ステップサイズを中心として、各前記ステップサイズに対応する目標範囲を決定することと、を含むことを特徴とする画像処理方法。
  2. 前記特定の軌跡に基づいて軌跡範囲を決定することは、前記特定の軌跡の開始位置および終了位置に基づいて前記軌跡範囲を決定することを含むことを特徴とする、請求項に記載の画像処理方法。
  3. 前記目標範囲内から所定数の所定サイズの切り出し画像をランダムに生成することをさらに含むことを特徴とする、請求項1又は2に記載の画像処理方法。
  4. 生成された切り出し画像を自動的に名を付けて保存することを特徴とする、請求項に記載の画像処理方法。
  5. 操作入力を受け付けるように配置される操作入力受付部と、
    前記操作入力に基づいて、処理対象となる画像から目標範囲を決定するように配置される目標範囲決定部と、
    前記目標範囲内において、所定数の所定サイズの切り出し画像を生成するように配置される切り出し画像生成部と、を含み、
    前記目標範囲のサイズは、前記切り出し画像のサイズと所定の比例になり、
    前記操作入力は、前記処理対象となる画像における特定の軌跡を指定することに用いられ、
    前記目標範囲決定部は、前記特定の軌跡に基づいて軌跡範囲を決定し、
    前記切り出し画像のサイズをステップサイズとして前記軌跡範囲を走査し、
    各前記ステップサイズを中心として、各前記ステップサイズに対応する目標範囲を決定することを特徴とする、画像処理装置。
  6. 前記目標範囲決定部は、前記特定の軌跡の開始位置及び終了位置に基づいて、前記軌跡範囲を決定することを特徴とする、請求項に記載の画像処理装置。
  7. 前記切り出し画像生成部は、前記目標範囲内から所定数の所定サイズの切り出し画像をランダムに生成することを特徴とする、請求項5又は6に記載の画像処理装置。
  8. 自動的に命名された前記切り出し画像を保存する切り出し画像保存部をさらに含むことを特徴とする、請求項に記載の画像処理装置。
  9. コンピュータ可読命令を記憶するように配置されるメモリと、
    前記メモリに記憶された前記コンピュータ可読命令を実行するように配置されるプロセッサと、を含み、
    前記プロセッサは、前記コンピュータ可読命令を実行する時、
    操作入力を受け付けるステップと、
    前記操作入力に基づいて、処理対象となる画像から目標範囲を決定するステップと、
    前記目標範囲内において、所定数の所定サイズの切り出し画像を生成するステップと、を実行し、
    前記目標範囲のサイズは、前記切り出し画像のサイズと所定の比例になり、
    前記操作入力は、前記処理対象となる画像における特定の軌跡を指定することに用いられ、
    前記処理対象となる画像から目標範囲を決定することは、
    前記特定の軌跡に基づいて軌跡範囲を決定することと、
    前記切り出し画像のサイズをステップサイズとして前記軌跡範囲を走査することと、
    各前記ステップサイズを中心として、各前記ステップサイズに対応する目標範囲を決定することと、を含むことを特徴とする、画像処理機器。
  10. 前記特定の軌跡に基づいて軌跡範囲を決定することは、前記特定の軌跡の開始位置及び終了位置に基づいて前記軌跡範囲を決定することを含むことを特徴とする、請求項に記載の画像処理機器。
  11. さらに前記目標範囲から所定数の所定サイズの切り出し画像をランダムに生成することを特徴とする、請求項9又は10に記載の画像処理機器。
  12. 前記メモリは、自動的に命名された前記切り出し画像を記憶することを特徴とする、請求項11に記載の画像処理機器。
  13. コンピュータ可読命令を記憶するコンピュータ可読記憶媒体であって、
    前記コンピュータ可読命令がコンピュータによって実行される時、前記コンピュータは、
    操作入力を受け付けるステップと、
    前記操作入力に基づいて、処理対象となる画像から目標範囲を決定するステップと、
    前記目標範囲内において、所定数の所定サイズの切り出し画像を生成するステップと、を実行し、
    前記目標範囲のサイズは、前記切り出し画像のサイズと所定の比例になり、
    前記操作入力は、前記処理対象となる画像における特定の軌跡を指定することに用いられ、
    前記処理対象となる画像から目標範囲を決定することは、
    前記特定の軌跡に基づいて軌跡範囲を決定することと、
    前記切り出し画像のサイズをステップサイズとして前記軌跡範囲を走査することと、
    各前記ステップサイズを中心として、各前記ステップサイズに対応する目標範囲を決定することと、を含むことを特徴とする、コンピュータ可読記憶媒体。
JP2019128083A 2018-07-13 2019-07-10 画像処理方法、画像処理装置及び画像処理機器 Active JP7386007B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810770150.9A CN110717576B (zh) 2018-07-13 2018-07-13 图像处理方法、装置和设备
CN201810770150.9 2018-07-13

Publications (2)

Publication Number Publication Date
JP2020013567A JP2020013567A (ja) 2020-01-23
JP7386007B2 true JP7386007B2 (ja) 2023-11-24

Family

ID=69170720

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019128083A Active JP7386007B2 (ja) 2018-07-13 2019-07-10 画像処理方法、画像処理装置及び画像処理機器

Country Status (2)

Country Link
JP (1) JP7386007B2 (ja)
CN (1) CN110717576B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205515B (zh) * 2020-09-18 2023-04-07 荣耀终端有限公司 一种视频的防抖处理方法及电子设备
CN114444622B (zh) * 2022-04-11 2022-06-17 中国科学院微电子研究所 一种基于神经网络模型的水果检测***和方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198476A (ja) 2009-02-26 2010-09-09 Omron Corp 欠陥検出装置、欠陥検出方法および欠陥検出プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009266061A (ja) * 2008-04-28 2009-11-12 Panasonic Corp 画像処理装置、画像処理方法および画像伝送システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198476A (ja) 2009-02-26 2010-09-09 Omron Corp 欠陥検出装置、欠陥検出方法および欠陥検出プログラム

Also Published As

Publication number Publication date
CN110717576B (zh) 2024-05-28
CN110717576A (zh) 2020-01-21
JP2020013567A (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
JP6557943B2 (ja) 画像照合装置、画像センサ、処理システム、画像照合方法
US20190066333A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
US20160147882A1 (en) Object Search Method and Apparatus
JP7386007B2 (ja) 画像処理方法、画像処理装置及び画像処理機器
CN109377467A (zh) 训练样本的生成方法、目标检测方法和装置
US9569850B2 (en) System and method for automatically determining pose of a shape
JP2020517926A (ja) スクリーン状態自動検出ロボット、方法及びコンピュータ読み取り可能な記憶媒体
JP2013536958A (ja) デジタル画像の認識
CN107845113A (zh) 目标元素定位方法、装置以及用户界面测试方法、装置
JP2022541977A (ja) 画像のラベリング方法、装置、電子機器及び記憶媒体
JPWO2015107665A1 (ja) 作業支援用データ作成プログラム
US20230260216A1 (en) Point cloud annotation device, method, and program
EP3300025A1 (en) Image processing device and image processing method
JP2018152081A (ja) 取得された画像内のクラッタを決定するためのシステム及び方法
US20160012302A1 (en) Image processing apparatus, image processing method and non-transitory computer readable medium
JP2015049776A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20200160098A1 (en) Human-Assisted Machine Learning Through Geometric Manipulation and Refinement
CN117730347A (zh) 基于数字图像的感兴趣区域(roi)自动生成一个或多个机器视觉作业
WO2016184032A1 (zh) 图片搜索方法、装置和存储介质
JP6229554B2 (ja) 検出装置および検出方法
CN112231032A (zh) 结合rpa与ai的软件界面元素的访问方法及装置
JP2020071739A (ja) 画像処理装置
JP7164008B2 (ja) データ生成方法、データ生成装置及びプログラム
CN109753554B (zh) 一种基于三维空间定位的搜索方法及家教设备
Xiong et al. Research on real-time multi-object detections based on template matching

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230719

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20230928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R150 Certificate of patent or registration of utility model

Ref document number: 7386007

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150