JP5974140B1 - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP5974140B1 JP5974140B1 JP2015119790A JP2015119790A JP5974140B1 JP 5974140 B1 JP5974140 B1 JP 5974140B1 JP 2015119790 A JP2015119790 A JP 2015119790A JP 2015119790 A JP2015119790 A JP 2015119790A JP 5974140 B1 JP5974140 B1 JP 5974140B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- predetermined
- pattern
- unit
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 314
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000003708 edge detection Methods 0.000 claims abstract description 38
- 238000012805 post-processing Methods 0.000 claims description 33
- 239000003973 paint Substances 0.000 claims description 19
- 238000000034 method Methods 0.000 description 79
- 238000003384 imaging method Methods 0.000 description 77
- 238000005192 partition Methods 0.000 description 64
- 238000010586 diagram Methods 0.000 description 12
- JVPMJFUBODFGNB-UFDFPQQFSA-N [(1S,2R,3S,5S,6S,16E,18E,20R,21S)-11-chloro-21-hydroxy-12,20-dimethoxy-2,5,9,16-tetramethyl-8,23-dioxo-4,24-dioxa-9,22-diazatetracyclo[19.3.1.110,14.03,5]hexacosa-10,12,14(26),16,18-pentaen-6-yl] (2S)-2-[3-[[(2R)-3-amino-2-[[(4R,7S,10S,13R,16S,19R)-10-(4-aminobutyl)-19-[[(2R)-2-amino-3-phenylpropanoyl]amino]-7-[(1R)-1-hydroxyethyl]-16-[(4-hydroxyphenyl)methyl]-13-(1H-indol-3-ylmethyl)-6,9,12,15,18-pentaoxo-1,2-dithia-5,8,11,14,17-pentazacycloicosane-4-carbonyl]amino]-3-oxopropyl]disulfanyl]propanoyl-methylamino]propanoate Chemical compound C[C@@H]1[C@@H]2C[C@]([C@@H](/C=C/C=C(/CC3=CC(=C(C(=C3)OC)Cl)N(C(=O)C[C@@H]([C@]4([C@H]1O4)C)OC(=O)[C@H](C)N(C)C(=O)CCSSC[C@@H](C(=O)N)NC(=O)[C@@H]5CSSC[C@@H](C(=O)N[C@H](C(=O)N[C@@H](C(=O)N[C@H](C(=O)N[C@H](C(=O)N5)[C@@H](C)O)CCCCN)CC6=CNC7=CC=CC=C76)CC8=CC=C(C=C8)O)NC(=O)[C@@H](CC9=CC=CC=C9)N)C)\C)OC)(NC(=O)O2)O JVPMJFUBODFGNB-UFDFPQQFSA-N 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000002087 whitening effect Effects 0.000 description 7
- 230000009182 swimming Effects 0.000 description 5
- 241000251468 Actinopterygii Species 0.000 description 4
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- GWEVSGVZZGPLCZ-UHFFFAOYSA-N Titan oxide Chemical compound O=[Ti]=O GWEVSGVZZGPLCZ-UHFFFAOYSA-N 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000004408 titanium dioxide Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
【課題】画像処理装置が、処理対象の絵等が描かれる面を識別するための情報を新たに設ける必要無しに、処理対象の絵等が所定の面に描かれているか否かに応じて、画像処理を行うか否かを判定することができるようにする。【解決手段】画像処理装置が、画像を取得する画像取得部と、前記画像のエッジ検出を行うエッジ検出部と、前記エッジ検出にて検出されたエッジ部分に含まれる画素の前記画像における配置が所定のパタンを満たすか否かを判定するパタン判定部と、前記パタン判定部が前記所定のパタンを満たすと判定した場合、当該パタンに対応する所定の画素を消去するノイズ除去部と、前記パタン判定部が前記所定のパタンを満たすと判定した度合いを示す指標値が、前記度合いが所定の度合い以上に大きいことを示す場合、前記ノイズ除去部が画素を消去した画像に対してさらに画像処理を行う後段処理部と、を備える。【選択図】図５An image processing apparatus according to whether or not a picture or the like to be processed is drawn on a predetermined face without having to newly provide information for identifying the face on which the picture or the like to be processed is drawn. It is possible to determine whether or not to perform image processing. An image processing apparatus includes an image acquisition unit that acquires an image, an edge detection unit that detects an edge of the image, and an arrangement of pixels included in an edge portion detected by the edge detection in the image. A pattern determination unit that determines whether or not a predetermined pattern is satisfied, a noise removal unit that deletes a predetermined pixel corresponding to the pattern when the pattern determination unit determines that the predetermined pattern is satisfied, and the pattern When the index value indicating the degree that the determination unit determines that the predetermined pattern is satisfied indicates that the degree is greater than or equal to the predetermined degree, the noise removal unit further performs image processing on the image from which the pixels are deleted. A post-stage processing unit to be performed. [Selection] Figure 5
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program.
絵や文字などを筆記可能な装置の１つに磁気ボードがある（特許文献１参照）。磁気ボードは、鉄粉が収納された小室を多数有している。磁石を備えたペンでユーザが磁気ボードの表面をなぞると、鉄粉が磁気ボードの表面内側（小室内側）に付着する。このように鉄粉が磁気ボードの表面内側に付着することで、ユーザが書いた絵や文字などが表示される。また、磁気ボードの表面内側に付着した鉄粉を磁石にて底面側（表面と反対側）へ移動させることで、絵や文字などが消去される。 One of the devices that can write pictures and characters is a magnetic board (see Patent Document 1). The magnetic board has many small chambers in which iron powder is stored. When the user traces the surface of the magnetic board with a pen equipped with a magnet, the iron powder adheres to the inner surface (small chamber side) of the magnetic board. In this way, the iron powder adheres to the inside of the surface of the magnetic board, so that pictures and characters written by the user are displayed. Moreover, a picture, a character, etc. are erase | eliminated by moving the iron powder adhering to the surface inner side of a magnetic board to a bottom face side (opposite surface) with a magnet.
画像処理を行う装置に、処理対象の絵等（絵でも、字でも、記号でも、これらの組み合わせでもよい）が所定の面に描かれている場合には画像処理を行わせ、他の面に描かれている場合には画像処理を抑制させたい場合がある。
例えば、画像処理を行うアプリケーション（アプリケーションプログラム）を磁気ボード用に提供する場合、処理対象の絵等が磁気ボードに描かれているときは、当該アプリケーションをインストールされた装置が画像処理を実行するようにする。一方、処理対象の絵等が磁気ボード以外に描かれているときは、当該装置が画像処理の実行を抑制するようにする。これにより、当該アプリケーションに画像処理を行わせたいユーザが磁気ボードを有していない場合、磁気ボードを購入する可能性がある。
If an image processing device has a picture or the like to be processed (drawings, letters, symbols, or a combination thereof) drawn on a predetermined surface, the image processing is performed on the other surface. In some cases, it may be desired to suppress image processing.
For example, when an application (application program) for performing image processing is provided for a magnetic board, when a picture to be processed is drawn on the magnetic board, the apparatus on which the application is installed executes image processing. To. On the other hand, when a picture or the like to be processed is drawn on something other than the magnetic board, the apparatus suppresses execution of image processing. Thereby, when the user who wants the application to perform image processing does not have the magnetic board, there is a possibility that the magnetic board is purchased.
画像処理を行う装置またはアプリケーション（アプリケーションプログラム）が画像処理を行うか否かの判定を、例えば処理対象の絵等が描かれる面に所定のマークを付すなど、絵等が描かれる面を識別するための情報を新たに設ける必要無しに行えれば、当該情報を新たに設ける負担を避けることができる。 For determining whether or not an image processing apparatus or application (application program) performs image processing, for example, by attaching a predetermined mark to the surface on which the picture or the like to be processed is drawn, the surface on which the picture or the like is drawn is identified. If it can be done without the need to newly provide information for this, the burden of newly providing the information can be avoided.
本発明は、処理対象の絵等が描かれる面を識別するための情報を新たに設ける必要無しに、処理対象の絵等が所定の面に描かれているか否かに応じて、画像処理を行うか否かを判定することができる画像処理装置、画像処理方法及びプログラムを提供する。 The present invention performs image processing according to whether or not a picture to be processed is drawn on a predetermined face without having to newly provide information for identifying the face on which the picture or the like to be processed is drawn. Provided are an image processing apparatus, an image processing method, and a program capable of determining whether or not to perform.
本発明の第１の態様によれば、画像処理装置は、画像を取得する画像取得部と、前記画像のエッジ検出を行うエッジ検出部と、前記エッジ検出にて検出されたエッジ部分に含まれる画素の前記画像における配置が所定のパタンを満たすか否かを判定するパタン判定部と、前記パタン判定部が前記所定のパタンを満たすと判定した場合、当該パタンに対応する所定の画素を消去するノイズ除去部と、画像全体で、前記パタン判定部が、前記エッジ部分に含まれる画素の配置が所定のパタンを満たすと判定した回数を示す指標値が、所定の度合い以上に大きいことを示す場合、前記ノイズ除去部が画素を消去した画像に対してさらに画像処理を行う後段処理部と、を備える。 According to the first aspect of the present invention, an image processing apparatus is included in an image acquisition unit that acquires an image, an edge detection unit that detects an edge of the image, and an edge portion detected by the edge detection. A pattern determination unit that determines whether or not an arrangement of pixels in the image satisfies a predetermined pattern, and if the pattern determination unit determines that the predetermined pattern is satisfied, erases a predetermined pixel corresponding to the pattern When the index value indicating the number of times that the pattern determination unit determines that the arrangement of the pixels included in the edge portion satisfies a predetermined pattern is larger than a predetermined degree in the noise removal unit and the entire image A post-processing unit that further performs image processing on the image from which the noise is removed by the noise removing unit.
本発明の第２の態様によれば、画像処理装置は、画像を取得する画像取得部と、前記画像のエッジ検出を行うエッジ検出部と、前記エッジ検出にて検出されたエッジ部分に含まれる画素の前記画像における配置が所定のパタンを満たすか否かを判定するパタン判定部と、画像全体で、前記パタン判定部が、前記エッジ部分に含まれる画素の配置が所定のパタンを満たすと判定した回数を示す指標値が、所定の度合い以上に大きいことを示す場合、前記画像取得部が取得した画像に対してさらに画像処理を行う後段処理部と、を備え、前記後段処理部は、前記パタン判定部が前記所定のパタンを満たすと判定した場合、当該パタンに対応する所定の画素を消去するノイズ除去部を備える。 According to the second aspect of the present invention, the image processing apparatus is included in an image acquisition unit that acquires an image, an edge detection unit that detects an edge of the image, and an edge portion detected by the edge detection. A pattern determination unit that determines whether the arrangement of pixels in the image satisfies a predetermined pattern, and the pattern determination unit determines that the arrangement of pixels included in the edge portion satisfies a predetermined pattern in the entire image And a post-processing unit that further performs image processing on the image acquired by the image acquisition unit when the index value indicating the number of times the image processing unit indicates that the index value is greater than or equal to a predetermined degree. When the pattern determination unit determines that the predetermined pattern is satisfied, the noise determination unit includes a noise removal unit that erases a predetermined pixel corresponding to the pattern.
前記後段処理部は、前記ノイズ除去部が画素を消去した画像のうち所定の画素値の画素を周囲の画素に広げる塗り広げ処理部を備えるようにしてもよい。 The post-processing unit may include a paint spreading processing unit that spreads pixels having a predetermined pixel value to surrounding pixels in the image from which the noise removing unit has erased pixels.
前記後段処理部は、画面に表示される背景画像上に前記画像処理にて得られた画像を表示させ、当該画像処理にて得られた画像を当該背景画像上で動作させる処理を行うようにしてもよい。 The latter stage processing unit displays an image obtained by the image processing on a background image displayed on the screen, and performs a process of operating the image obtained by the image processing on the background image. May be.
前記パタン判定部は、ハニカム状の所定の模様に基づいて決められた前記所定のパタンを満たすか否かを判定するようにしてもよい。 The pattern determination unit may determine whether or not the predetermined pattern determined based on the honeycomb-shaped predetermined pattern is satisfied.
前記画像処理装置は、画像取得部が取得した前記画像をスキャンして所定の色の画素が現れる間隔の平均を求めるスキャン処理部と、前記所定の色の画素が現れる間隔の平均に基づく所定の条件が成立するか否かを判定する条件判定部と、を備え、前記エッジ検出部は、前記所定の条件が成立すると前記条件判定部が判定した場合に、前記エッジ部分を検出するようにしてもよい。 The image processing apparatus scans the image acquired by the image acquisition unit and obtains an average of intervals at which pixels of a predetermined color appear, and a predetermined processing based on an average of intervals at which the pixels of the predetermined color appear A condition determination unit that determines whether or not a condition is satisfied, and the edge detection unit detects the edge portion when the condition determination unit determines that the predetermined condition is satisfied. Also good.
前記スキャン処理部は、前記所定の色の画素の出現回数をさらに求め、前記条件判定部は、前記所定の色の画素が現れる間隔の平均、及び、前記所定の色の画素の出現回数に基づく所定の条件が成立するか否かを判定するようにしてもよい。 The scan processing unit further determines the number of appearances of the pixels of the predetermined color, and the condition determination unit is based on an average of the intervals at which the pixels of the predetermined color appear and the number of appearances of the pixels of the predetermined color You may make it determine whether a predetermined condition is materialized.
前記条件判定部は、所定のハニカム状の模様に応じて設定された前記所定の条件が成立するか否かを判定するようにしてもよい。 The condition determination unit may determine whether or not the predetermined condition set according to a predetermined honeycomb pattern is satisfied.
本発明の第３の態様によれば、画像処理方法は、画像処理装置の画像処理方法であって、画像を取得する画像取得ステップと、前記画像のうち隣接する画素との画素値の差が所定の閾値以上であるエッジ部分を検出するエッジ検出ステップと、前記エッジ部分に含まれる画素の前記画像における配置が所定のパタンを満たすか否かを判定するパタン判定ステップと、前記パタン判定ステップにて前記所定のパタンを満たすと判定した画素を消去するノイズ除去ステップと、画像全体について、前記パタン判定ステップにて、前記エッジ部分に含まれる画素の配置が所定のパタンを満たすと判定した回数を示す指標値が、前記所定のパタンを満たすと判定した度合いが所定の度合い以上に大きいことを示す場合、前記ノイズ除去ステップにて画素を消去した画像に対してさらに画像処理を行う後段処理ステップと、を含む。 According to the third aspect of the present invention, an image processing method is an image processing method of an image processing device, wherein an image acquisition step of acquiring an image and a difference in pixel value between adjacent pixels of the image is determined. An edge detection step for detecting an edge portion that is equal to or greater than a predetermined threshold, a pattern determination step for determining whether or not an arrangement of pixels included in the edge portion satisfies a predetermined pattern, and the pattern determination step. The noise removal step of erasing the pixels determined to satisfy the predetermined pattern and the number of times that the arrangement of the pixels included in the edge portion is determined to satisfy the predetermined pattern in the pattern determination step for the entire image. When the index value to be shown indicates that the degree of determination that the predetermined pattern is satisfied is greater than or equal to the predetermined degree, an image is displayed in the noise removal step. Including a post-processing step for further image processing of erased image.
本発明の第４の態様によれば、画像処理方法は、画像処理装置の画像処理方法であって、画像を取得する画像取得ステップと、前記画像のうち隣接する画素との画素値の差が所定の閾値以上であるエッジ部分を検出するエッジ検出ステップと、前記エッジ部分に含まれる画素の前記画像における配置が所定のパタンを満たすか否かを判定するパタン判定ステップと、画像全体について、前記パタン判定ステップにて、前記エッジ部分に含まれる画素の配置が所定のパタンを満たすと判定した回数を示す指標値が、前記所定のパタンを満たすと判定した度合いが所定の度合い以上に大きいことを示す場合、前記画像取得ステップにて取得した画像に対してさらに画像処理を行う後段処理ステップと、を含み、前記後段処理ステップは、前記パタン判定ステップにて前記所定のパタンを満たすと判定した画素を消去するノイズ除去ステップを含む。 According to a fourth aspect of the present invention, an image processing method is an image processing method of an image processing apparatus, wherein an image acquisition step of acquiring an image and a difference in pixel value between adjacent pixels of the image is determined. An edge detection step for detecting an edge portion that is equal to or greater than a predetermined threshold, a pattern determination step for determining whether or not an arrangement of pixels included in the edge portion satisfies a predetermined pattern, and the entire image, In the pattern determination step , the index value indicating the number of times it is determined that the arrangement of the pixels included in the edge portion satisfies the predetermined pattern is greater than a predetermined degree when the index value is determined to satisfy the predetermined pattern. A post-processing step of performing further image processing on the image acquired in the image acquisition step, and the post-processing step includes: Including noise removal step of erasing the pixel determined to satisfy the predetermined pattern in the determination step.
本発明の第５の態様によれば、プログラムは、コンピュータに、画像を取得する画像取得ステップと、前記画像のうち隣接する画素との画素値の差が所定の閾値以上であるエッジ部分を検出するエッジ検出ステップと、前記エッジ部分に含まれる画素の前記画像における配置が所定のパタンを満たすか否かを判定するパタン判定ステップと、前記パタン判定ステップにて前記所定のパタンを満たすと判定した画素を消去するノイズ除去ステップと、画像全体について、前記パタン判定ステップにて、前記エッジ部分に含まれる画素の配置が所定のパタンを満たすと判定した回数を示す指標値が、前記所定のパタンを満たすと判定した度合いが所定の度合い以上に大きいことを示す場合、前記ノイズ除去ステップにて画素を消去した画像に対してさらに画像処理を行う後段処理ステップと、を実行させるためのプログラムである。 According to the fifth aspect of the present invention, the program causes the computer to detect an image acquisition step for acquiring an image and an edge portion in which a pixel value difference between adjacent pixels in the image is equal to or greater than a predetermined threshold. An edge detection step, a pattern determination step for determining whether or not an arrangement of pixels included in the edge portion satisfies a predetermined pattern, and the pattern determination step determines that the predetermined pattern is satisfied An index value indicating the number of times that it is determined that the arrangement of the pixels included in the edge portion satisfies a predetermined pattern in the pattern determination step for the noise removal step for erasing the pixels and the entire image is the predetermined pattern. When the degree of determination as satisfying is greater than a predetermined degree, for the image in which the pixels are erased in the noise removal step Is a program for further executing the a post-processing step of performing image processing.
本発明の第６の態様によれば、プログラムは、コンピュータに、画像を取得する画像取得ステップと、前記画像のうち隣接する画素との画素値の差が所定の閾値以上であるエッジ部分を検出するエッジ検出ステップと、前記エッジ部分に含まれる画素の前記画像における配置が所定のパタンを満たすか否かを判定するパタン判定ステップと、画像全体について、前記パタン判定ステップにて、前記エッジ部分に含まれる画素の配置が所定のパタンを満たすと判定した回数を示す指標値が、前記所定のパタンを満たすと判定した度合いが所定の度合い以上に大きいことを示す場合、前記画像取得ステップにて取得した画像に対してさらに画像処理を行う後段処理ステップと、を実行させ、前記後段処理ステップでは、前記パタン判定ステップにて前記所定のパタンを満たすと判定した画素を消去するノイズ除去ステップを実行させるためのプログラムである。 According to the sixth aspect of the present invention, the program causes the computer to detect an edge portion in which a difference in pixel value between an image acquisition step of acquiring an image and an adjacent pixel in the image is a predetermined threshold value or more. an edge detection step of, disposed in the image of pixels included in the edge portion and the determining pattern determination step of determining whether or not to satisfy a predetermined pattern, for the entire image, in the pattern determination step, the edge portion When the index value indicating the number of times it is determined that the arrangement of the included pixels satisfies the predetermined pattern indicates that the degree of determination that the predetermined pattern is determined to satisfy the predetermined pattern is greater than or equal to the predetermined level, the index value is acquired in the image acquisition step. A post-processing step for performing further image processing on the processed image, and in the post-processing step, the pattern determination step Is a program for executing the noise removal step of erasing the pixels determined to satisfy the predetermined pattern.
本発明によれば、処理対象の絵等が描かれる面を識別するための情報を新たに設ける必要無しに、画像処理を行う装置は、処理対象の絵等が所定の面に描かれているか否かに応じて、画像処理を行うか否かを判定することができる。 According to the present invention, an apparatus that performs image processing does not need to newly provide information for identifying a surface on which a picture or the like to be processed is drawn. Whether or not to perform image processing can be determined depending on whether or not.
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, although embodiment of this invention is described, the following embodiment does not limit the invention concerning a claim. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
＜第１の実施形態＞
図１は、本発明の第１の実施形態における画像処理システムの機能構成を示す概略ブロック図である。同図に示すように画像処理システム１は、磁気ボード２と、画像処理装置３とを備える。
<First Embodiment>
FIG. 1 is a schematic block diagram showing a functional configuration of an image processing system according to the first embodiment of the present invention. As shown in FIG. 1, the
画像処理システム１は、ユーザが磁気ボード２に書いたもの（絵又は文字など任意のものでよい）を撮像して画像処理する装置である。具体的には、ユーザが磁気ボード２用のペンで絵又は文字などを書くと、磁気ボード２がその絵又は文字などを表示する。また、画像処理装置３は撮像部を備えており、絵又は文字などを表示している磁気ボード２を撮像し、撮像画像に対して画像処理を行う。
以下では、ユーザが磁気ボード２に書いたものを絵等と表記する。
画像処理装置３は、例えばスマートフォンなどカメラ付きの情報処理装置に画像処理装置３用のアプリケーションプログラムをインストールすることで実現されていてもよい。あるいは、画像処理装置３が画像処理装置３専用の装置として構成されていてもよい。
The
Hereinafter, what the user writes on the
The image processing apparatus 3 may be realized by installing an application program for the image processing apparatus 3 in an information processing apparatus with a camera such as a smartphone. Alternatively, the image processing device 3 may be configured as a device dedicated to the image processing device 3.
図２は、磁気ボード２を表面側から見た外形の例を示す概略外形図である。同図に示すように磁気ボード２は、磁気ボード本体２１０と、黒ペン２２１と、赤ペン２２２と、スタンプ２２３とを備える。磁気ボード本体２１０は、表示パネル２１１と、消去用スライダー２１２とを備える。
表示パネル２１１は、磁気ボード２用のペンでユーザが書いた絵等を表示する。
FIG. 2 is a schematic external view showing an example of the external shape of the
The
図３は、表示パネル２１１の内部構造の概略を示す説明図である。同図に示すように、表示パネル２１１は、表面シート２３１と底面シート２３２とを仕切り２３３で仕切って構成されたセル（小室）２３４を複数備えている。セル２３４の各々には白色の液体（例えば、白色の二酸化チタンが混入されたオイル）とマイクロマグネット（小さい磁石）２４１とが封入されている。
FIG. 3 is an explanatory diagram showing an outline of the internal structure of the
セル２３４ｃのようにマイクロマグネット２４１が表面シート２３１から離れている状態では、ユーザが表示パネル２１１を表面シート２３１側から見ると、液体の色により白く見える。一方、セル２３４ａ及びセル２３４ｂのようにマイクロマグネット２４１が表面シート２３１に付着している状態では、ユーザが表示パネル２１１を表面シート２３１側から見ると、マイクロマグネット２４１の色が見える。なお、ここでいう色は、灰色または黒のように無彩色であってもよい。
In a state where the
マイクロマグネット２４１は、Ｎ極側２４２を黒く塗られ、Ｓ極側２４３を赤く塗られている。このため、セル２３４ａのマイクロマグネット２４１ａのように、Ｎ極側２４２が表面シート２３１に付着している状態では、ユーザが表示パネル２１１を表面シート２３１側から見ると、Ｎ極側２４２の色により黒く見える。一方、セル２３４ｂのマイクロマグネット２４１ｂのように、Ｓ極側２４３が表面シート２３１に付着している状態では、ユーザが表示パネル２１１を表面シート２３１側から見ると、Ｓ極側２４３の色により赤く見える。
The
但し、マイクロマグネット２４１の色は上述した黒及び赤に限らず、いろいろな色とすることができる。例えば、マイクロマグネット２４１が、黒１色で塗られていてもよいし、青及び赤など黒及び赤以外の色で塗られていてもよい。
あるいは、マイクロマグネット２４１がセル２３４毎に異なる色で塗られていてもよい。例えば、複数のセル２３４を纏めたセル群毎に、マイクロマグネット２４１が異なる色で塗られていてもよい。
However, the color of the
Alternatively, the
図４は、表示パネル２１１を表面シート２３１側から見た外観の概略例を示す説明図である。同図に示すように、仕切り２３３はハニカム状になっている。すなわち、正六角形で同じ大きさの複数のセル２３４が並んでいる。
但し、仕切り２３３の形状はハニカム状に限らない。同様の形状かつ同様の大きさの複数のセルが並んでいればよい。
FIG. 4 is an explanatory diagram illustrating a schematic example of an external appearance of the
However, the shape of the
図３を参照して説明したように、セル２３４のうち、Ｎ極側２４２が表面シート２３１に付着しているセル２３４ａは、黒く見える。一方、セル２３４のうち、Ｓ極側２４３が表面シート２３１に付着しているセル２３４ｂは、赤く見える。また、セル２３４のうち、マイクロマグネット２４１が表面シート２３１から離れて位置しているセル２３４ｃは、白く見える。
一方、仕切り２３３は、例えば緑に見えるなど、セル２３４ａの黒、セル２３４ｂの赤、セル２３４ｃの白のいずれとも異なる色に見える。
As described with reference to FIG. 3, among the
On the other hand, the
なお、１つのセル２３４の一部分でのみ、マイクロマグネット２４１のＮ極側２４２が表面シート２３１に付着することがあり得る。この場合、１つのセル２３４の一部分が黒く見え、当該セルの残りの部分は白く見える。同様に、１つのセル２３４の一部分でのみ、マイクロマグネット２４１のＳ極側２４３が表面シート２３１に付着することがあり得る。この場合、１つのセル２３４の一部分が赤く見え、当該セルの残りの部分は白く見える。
Note that the
消去用スライダー２１２は、表示パネル２１１の表示を消すのに用いられる。具体的には、消去用スライダー２１２は、底面シート２３２の外側（底面シート２３２から見て表面シート２３１と反対側）に、図２の上下方向に設けられた棒と、当該棒に付された消去用磁石と、当該棒の端部に設けられたつまみとを備える。ユーザが、つまみを図２の左右方向に移動させることで、消去用磁石も左右方向に移動する。消去用磁石は、マイクロマグネット２４１を底面シート２３２に付着させる。これによって、ユーザが表示パネル２１１を表面シート２３１側から見た場合、セル２３４が白く見える。
消去用磁石は、表示パネル２１１の上端から下端までにわたって棒に付されており、ユーザが、つまみを可動領域の左端から右端まで移動させることで、消去用磁石が表示パネル２１１の全てのセル２３４でマイクロマグネット２４１を底面シートに付着させる。これにより、ユーザが表示パネル２１１に書いた絵等が消去される。
The erasing
The erasing magnet is attached to the bar from the upper end to the lower end of the
黒ペン２２１、赤ペン２２２は、いずれも磁気ボード２用のペンである。
黒ペン２２１には、Ｓ極側を黒ペン２２１の先端側にして磁石が設けられている。ユーザが、黒ペン２２１にて表示パネル２１１をなぞると、マイクロマグネット２４１のＮ極側２４２が表面シート２３１に付着する。これにより、図３を参照して説明したように、ユーザが表示パネル２１１を表面シート２３１側から見た場合、セル２３３が黒く見える。
The
The
また、赤ペン２２２には、Ｎ極側を黒ペン２２１の先端側にして磁石が設けられている。ユーザが、赤ペン２２２にて表示パネル２１１をなぞると、マイクロマグネット２４１のＳ極側２４２が表面シート２３１に付着する。これにより、図３を参照して説明したように、ユーザが表示パネル２１１を表面シート２３１側から見た場合、セル２３３が赤く見える。
Further, the
スタンプ２２３は、黒ペン２２１及び赤ペン２２２と同様、ユーザが表示パネル２１１に絵などを書くのに用いられる。黒ペン２２１及び赤ペン２２２と同様、スタンプ２２３にも磁石が設けられており、ユーザがスタンプ２２３を表示パネル２１１に近付けると、マイクロマグネット２４１が表面シート２３１に付着する。これにより、ユーザが表示パネル２１１を表面シート２３１側から見た場合、極性に応じてセル２３３が黒く又は赤く見える。
The
図５は、画像処理装置３の機能構成を示す概略ブロック図である。同図に示すように画像処理装置３は、撮像部３１０と、表示部３２０と、操作入力部３３０と、記憶部３６０と、制御部３７０とを備える。制御部３７０は、画像処理部３７１を備える。画像処理部３７１は、前段処理部３８０と、後段処理部３９０とを備える。前段処理部３８０は、エッジ検出部３８１と、パタン判定部３８２と、ノイズ除去部３８３とを備える。後段処理部３９０は、塗り広げ処理部３９１と、余白透明化処理部３９２と、閉領域白塗り処理部３９３とを備える。
FIG. 5 is a schematic block diagram illustrating a functional configuration of the image processing apparatus 3. As shown in the figure, the image processing apparatus 3 includes an
撮像部３１０は、カメラを備えて撮像を行う。特に、撮像部３１０は、カメラを磁気ボード２に向けられた状態で磁気ボード２を撮像する。撮像部３１０は画像取得部の例に該当し、撮像により画像を取得する。なお、以下では撮像部３１０が動画像を撮像する場合を例に説明するが、撮像部３１０がユーザ操作（シャッター操作）に従って静止画像を撮像するようにしてもよい。
The
表示部３２０は、例えば液晶パネル等の表示画面を有し、各種画像を表示する。特に、表示部３２０は、撮像部３１０が撮像した画像に対して画像処理部３７１が画像処理を行って得られた画像を表示する。
操作入力部３３０は、例えば、表示部３２０の表示画面に設けられてタッチパネルを構成するタッチセンサ、又は、テンキー及び方向ボタンなどの入力デバイスを備え、ユーザ操作を受け付ける。
The
The
記憶部３６０は、画像処理装置３が備える記憶デバイスを含んで構成され、各種データを記憶する。
制御部３７０は、画像処理装置３の各部を制御して各種処理を行う。制御部３７０は、例えば画像処理装置３が備えるＣＰＵ（Central Processing Unit、中央処理装置）が記憶部３６０からプログラムを読み出して実行することで実現される。
The
The
画像処理部３７１は、撮像部３１０が磁気ボード２を撮像した撮像画像に対して画像処理を行い、画像処理後の画像を表示部３２０の表示画面に表示させる。例えば、画像処理部３７１は、背景画像として水槽内の画像を表示部３２０の表示画面に表示させ、画像処理にて得られた画像を魚のように泳がせる画像を表示部３２０の表示画面に表示させる。これにより、画像処理装置３は、ユーザが磁気ボード２に書いた絵等画像を水槽内で泳がせる画像を表示する機能を提供する。
The
前段処理部３８０は、撮像部３１０の撮像画像から、磁気ボード２のハニカム状の模様の像を構成する画素を検出して消去し、画素の消去状況に基づいて、撮像部３１０の撮像画像が磁気ボード２を撮像した画像か否かを判定する。
エッジ検出部３８１は、撮像部３１０の撮像画像のうちエッジ部分を検出してエッジ画像を生成する。ここでいうエッジ部分は、当該部分の画素の画素値が隣接する画素の画素値と所定の条件以上に大きく変化している部分である。
The
The
エッジ検出部３８１が画像のエッジ部分を検出する方法は、特定の方法に限定されない。例えば、エッジ検出部３８１が、ソーベルフィルタ（Sobel Filter）、ラプラシアンフィルタ（Laplacian Filter）、又は、キャニーフィルタ（Canny Filter）など、既存のエッジ検出フィルタを備えて画像のエッジ部分を検出するようにしてもよい。
また、ここでいうエッジ画像とは、元の画像の各画素を「エッジ」又は「エッジ以外」のいずれかを示す画素に置き換えた画像である。従って、エッジ画像の画素と元の画像の画素とは１対１に対応する。以下では、「エッジ」を示す画素を画素値「１」で示し、「エッジ以外」を示す画素を画素値「０」で示す。
The method by which the
The edge image here is an image in which each pixel of the original image is replaced with a pixel indicating either “edge” or “other than edge”. Therefore, there is a one-to-one correspondence between the pixels of the edge image and the pixels of the original image. Hereinafter, a pixel indicating “edge” is indicated by a pixel value “1”, and a pixel indicating “other than an edge” is indicated by a pixel value “0”.
パタン判定部３８２は、撮像部３１０の撮像画像におけるエッジ部分に含まれる画素の配置が、ハニカム状の所定の模様に基づいて決められた所定のパタンを満たすか否かを判定する。ここでいうハニカム状の所定の模様に基づいて決められた所定のパタンとは、撮像部３１０の撮像画像における仕切り２３３の像によるハニカム状の模様を想定して予め決められているパタンである。以下では、ハニカム状の所定の模様に基づいて決められた所定のパタンを、ハニカム判定パタンと称する。
The
ここで、図４の例のように磁気ボード２の表示パネル２１１の仕切り２３３の太さは、セル２３４の幅に対して十分細い。このため、撮像部３１０の撮像画像が磁気ボード２を撮像した画像である場合、エッジ検出部３８１は、仕切り２３３の像全体をエッジ部分として検出する。
一方、セル２３４の色は、典型的には図４に示されるように１つのセル２３４全体で同じ色になる。図４の例では、セル２３４ａ全体が黒く見える。また、セル２３４ｂ全体が赤く見え、セル２３４ｃ全体が白く見える。従って、エッジ検出部３８１は、セル２３４の輪郭部分がエッジ部分として検出するが、セル２３４の内側についてはエッジ以外の部分と判定する。
Here, as in the example of FIG. 4, the thickness of the
On the other hand, the color of the
図６は、エッジ検出部３８１が生成するエッジ画像における画素値の例を示す説明図である。同図では、エッジ検出部３８１が生成したエッジ画像の一部の画素の画素値を、撮像部３１０が磁気ボード２を撮像した画像の対応部分上に示している。画素Ｐ１０１〜Ｐ１１４のうち、Ｐ１０１、Ｐ１０５、Ｐ１１０及びＰ１１４の画素値は、エッジ部分を示す「１」になっている。それ以外の画素（Ｐ１０２、Ｐ１０３、Ｐ１０４、Ｐ１０６、Ｐ１０７、Ｐ１０８、Ｐ１０９、Ｐ１１１、Ｐ１１２及びＰ１１３）の画素値は、エッジ以外の部分を示す「０」になっている。
FIG. 6 is an explanatory diagram illustrating an example of pixel values in the edge image generated by the
図６の例のようなエッジ部分の画素の配置に基づいて、ハニカム判定パタンの１つは、例えば「１０００１」のように、エッジ部分の画素とエッジ部分の画素との間に複数のエッジ以外の部分の画素が連続して出現するパタンとして設定されている。以下、このハニカム判定パタンをハニカム判定パタンＡと称する。
ハニカム判定パタンＡに出現するエッジ以外の部分の画素の数の上限が設定されていてもよいし、上限は任意となっていてもよい。
Based on the arrangement of the edge portion pixels as in the example of FIG. 6, one of the honeycomb determination patterns is other than a plurality of edges between the edge portion pixels and the edge portion pixels, for example, “10001”. This is set as a pattern in which the pixels in this part appear continuously. Hereinafter, this honeycomb determination pattern is referred to as a honeycomb determination pattern A.
An upper limit of the number of pixels other than the edges appearing in the honeycomb determination pattern A may be set, or the upper limit may be arbitrary.
一方、撮像部３１０に対する磁気ボード２を撮像する向きによっては、「００１１１１０００」のように複数のエッジ部分以外の画素と複数のエッジ部分以外の画素との間に所定数以上のエッジ部分の画素が連続して出現する。そこで、ハニカム判定パタンの１つは、複数のエッジ部分以外の画素と複数のエッジ部分以外の画素との間に所定数以上のエッジ部分の画素が連続して出現するパタンとして設定されている。以下、このハニカム判定パタンをハニカム判定パタンＢと称する。
On the other hand, depending on the direction of imaging the
パタン判定部３８２は、エッジ検出部３８１が生成したエッジ画像をラスタスキャンしてハニカム判定パタンを検出する。パタン判定部３８２は、設定されているハニカム判定パタンの少なくともいずれか１つを満たす（マッチする）と判定すると、ハニカム判定パタンを満たすと判定する。
ここで、エッジ画像におけるエッジ部分の画素の配置は元の画像（撮像部３１０の撮像画像）におけるエッジ部分の配置と同一である。従って、パタン判定部３８２は、撮像部３１０の撮像画像におけるエッジ部分に含まれる画素の配置が、ハニカム判定パタンを満たすか否かを判定しているといえる。
The
Here, the arrangement of the pixels in the edge portion in the edge image is the same as the arrangement of the edge portion in the original image (the captured image of the imaging unit 310). Therefore, it can be said that the
ノイズ除去部３８３は、パタン判定部３８２が所定のパタンを満たすと判定した場合、当該パタンに対応する所定の画素を消去する。具体的には、ノイズ除去部３８３は、撮像部３１０の撮像画像の画素のうち、ハニカム判定パタンで画素値が１になっている画素に対応する画素を消去する。
なお、ここでいう画素の消去とは、当該画素の画素値を余白部分の画素値（例えば、白を示す画素値または透明を示す画素値）に書き換えることである。図４の例の場合、セル２３４ｃの色である白が余白部分の色に該当し、ノイズ除去部３８３は、消去する画素の画素値を、白を示す画素値に書き換える。
When the
Note that the term “erasing a pixel” as used herein refers to rewriting the pixel value of the pixel to a pixel value of a blank portion (for example, a pixel value indicating white or a pixel value indicating transparency). In the case of the example in FIG. 4, white, which is the color of the
後段処理部３９０は、パタン判定部３８２がハニカム判定パタンを満たすと判定した度合いを示す指標値が、所定の度合い以上に大きいことを示す場合、ノイズ除去部３８３が画素を消去した画像に対してさらに画像処理を行う。当該判定は、撮像部３１０の撮像画像が磁気ボード２を撮像した画像か否かの判定の例に該当し、後段処理部３９０は、撮像部３１０の撮像画像が磁気ボード２を撮像した画像であると判定した場合に、当該画像に対してさらに画像処理を行う。
ここで、パタン判定部３８２がハニカム判定パタンを満たすと判定した度合いを示す指標値は、例えば、パタン判定部３８２は、エッジ画像全体でハニカム判定パタンを検出した回数であってもよいし、ノイズ除去部３８３が消去した画素の数であってもよい。
When the index value indicating the degree that the
Here, the index value indicating the degree of determination that the
塗り広げ処理部３９１は、ノイズ除去部３８３が画素を消去した画像のうち所定の画素値の画素の色を周囲の画素に広げる。具体的には、塗り広げ処理部３９１は、広げる元の画素の画素値を広げる先の画素に書き込む。以下では、塗り広げ処理部３９１が行う当該処理を塗り広げ処理と称する。塗り広げ処理によって塗り広げ処理部３９１は、撮像部３１０の撮像画像からノイズ除去部３８３が画素を消去して生じた隙間を埋める。
The paint spreading
ノイズ除去部３８３がエッジ部分の画素を消去した画像では、消去されたエッジ部分が隙間となっている。これに対して、塗り広げ処理部３９１が塗り広げ処理を行うことで、隙間を埋めることができる。特に、ユーザが磁気ボード２に書いた線が仕切り２３３の部分では途切れて隙間が生じていたのに対し、塗り広げ処理部３９１が塗り広げ処理を行うことで、隙間のない線の像を得られる。これにより、ユーザが線で囲った閉領域を検出し易くなり、例えば、画像処理部３７１が、当該閉領域を塗りつぶす処理を行うことができる。
In the image in which the
余白透明化処理部３９２は、塗り広げ処理部３９１が塗り広げ処理を行った画像に対して余白を透明化する処理を行う。具体的には、余白透明化処理部３９２は、塗り広げ処理部３９１が塗り広げ処理を行った画像のうち、閉領域の部分及び塗り潰されている部分を除いた部分を余白部分として、当該余白部分の色を透明に設定する（すなわち、余白部分の画素値を、透明を示す画素値に書き換える）。
The margin
閉領域白塗り処理部３９３は、余白透明化処理部３９２が余白を透明化した画像に対して閉領域の部分を白塗りする処理を行う。具体的には、閉領域白塗り処理部３９３は、閉領域の部分を検出し、検出した閉領域の部分のうち黒の部分と赤の部分とを除いた部分の色を白にする。
以上の処理により、後段処理部３９０は、撮像部３１０の撮像画像から余白部分を消去して、ユーザが磁気ボード２に描いた絵の像の部分を抽出する。例えば、ユーザが磁気ボード２に魚の絵を描いた場合、後段処理部３９０は、撮像部３１０の撮像画像から余白部分を消去して、魚の絵の部分を抽出する。
The closed region
Through the above processing, the
なお、後段処理部３９０が、ノイズ除去部３８３を含んで構成されていてもよい。従って、後段処理部３９０が行う画像処理に、ノイズ除去部３８３が行う処理が含まれていてもよい。
Note that the
次に、図７〜図８を参照して画像処理装置３の動作について説明する。
図７は、磁気ボード２に書かれた絵に対して画像処理装置３が行う処理の手順の例を示すフローチャートである。画像処理装置３は、例えば処理開始を指示するユーザ操作に従って図７の処理を開始する。
図７の処理にて、画像処理装置３は、撮像部３１０の撮像画像に対して画像処理を行う（ステップＳ１０１）。
Next, the operation of the image processing apparatus 3 will be described with reference to FIGS.
FIG. 7 is a flowchart illustrating an example of a procedure of processing performed by the image processing apparatus 3 on a picture written on the
In the process of FIG. 7, the image processing apparatus 3 performs image processing on the captured image of the imaging unit 310 (step S101).
図８は、画像処理装置３が撮像部３１０の撮像画像に対して画像処理を行う手順の例を示すフローチャートである。画像処理装置３は、図７のステップＳ１０１にて図８の処理を行う。
図８の処理にて撮像部３１０は撮像画像を取得する（ステップＳ２０１）。例えば撮像部３１０は動画像を撮像しており、動画像の１フレームとしての撮像画像を取得する。
FIG. 8 is a flowchart illustrating an example of a procedure in which the image processing device 3 performs image processing on a captured image of the
In the process of FIG. 8, the
次に、画像処理部３７１は、撮像部３１０の撮像画像に、表示パネル２１１の表面シート２３１による反射光が写り込んでいるか否かを判定する（ステップＳ２０２）。撮像画像に反射光が写り込んでいる場合、得られる画像の質が低下してしまうからである。画像処理部３７１は、例えば、撮像画像全体で輝度の平均値を求め、得られた平均値が所定の閾値よりも大きい場合に、反射光が写り込んでいると判定する。
Next, the
反射光が写り込んでいると判定した場合（ステップＳ２０２：ＹＥＳ）、ステップＳ２０１へ戻る。
一方、反射光が写り込んでいないと判定した場合（ステップＳ２０２：ＮＯ）、エッジ検出部３８１は、撮像部３１０の撮像画像のうちエッジ部分を検出してエッジ画像を生成する（ステップＳ２１１）。エッジ検出部３８１が生成したエッジ画像は、仕切り２３３の像によるハニカム状の模様の検出に用いられる。一方、当該エッジ画像の元の画像である撮像部３１０の撮像画像は、画像処理部３７１が画像処理を行う対象の画像となる。
When it is determined that the reflected light is reflected (step S202: YES), the process returns to step S201.
On the other hand, when it is determined that the reflected light is not reflected (step S202: NO), the
次に、パタン判定部３８２は、ハニカム判定パタンの検出回数を数えるカウンタの値をゼロ（０）に設定（リセット）する（ステップＳ２１２）。
そして、パタン判定部３８２は、エッジ検出部３８１が生成したエッジ画像をラスタスキャンするループＬ１１の処理を開始する（ステップＳ２２１）。
ループＬ１１の処理では、パタン判定部３８２は、ラスタスキャンで直近にスキャンした１つ以上の画素で構成される画素列がハニカム判定パタンのいずれかを満たす（マッチする）か否かを判定する（ステップＳ２２２）。具体的には、ハニカム判定パタンに含まれる画素の数がｎ個（ｎは正整数）である場合、パタン判定部３８２は、ラスタスキャンで直近にスキャンしたｎ個の画素を時間順に並べた画素列が、当該ハニカム判定パタンを満たすか否かを判定する。
Next, the
Then, the
In the processing of the loop L11, the
いずれかのハニカム判定パタンが満たされる（すなわち、上記の画素列のうちいずれかのハニカム判定パタンを満たすものが存在する）と判定した場合（ステップＳ２２２：ＹＥＳ）、ノイズ除去部３８３は、撮像部３１０の撮像画像から画素を消去する（ステップＳ２３１）。
具体的には、ノイズ除去部３８３は、ステップＳ２２２でハニカム判定パタンを満たすと判定された画素列をエッジ画像上で検出し、当該画素列のうち、ハニカム判定パタンの「１」の画素に対応する画素（従って、エッジ部分と判定された画素）を検出する。そして、ノイズ除去部３８３は、エッジ画像上で検出した画素に対応する撮像画像上の画素を特定し、特定した画素を消去する。
When it is determined that any one of the honeycomb determination patterns is satisfied (that is, there is a pixel determination pattern satisfying any of the above-described pixel determination patterns) (step S222: YES), the
Specifically, the
また、パタン判定部３８２は、ハニカム判定パタンの検出回数をカウントアップする（ステップＳ２３２）。具体的には、パタン判定部３８２は、ハニカム判定パタンに検出回数を数えるカウンタの値に１を加算する。
次に、パタン判定部３８２は、ループＬ１１の終端処理を行う（ステップＳ２３３）。具体的には、パタン判定部３８２は、エッジ検出部３８１が生成したエッジ画像の全ての画素についてループＬ１１の処理を行ったか否かを判定する。未処理の画素があると判定した場合、ステップＳ２２１へ戻り、ラスタスキャンしていない画素について引き続きループＬ１１の処理を行う。一方、全ての画素についてループＬ１１の処理を行ったと判定した場合は、ループＬ１１を終了する。
In addition, the
Next, the
ステップＳ２３３でループＬ１１を終了した場合、パタン判定部３８２は、ハニカム判定パタンの検出回数が所定の閾値以上か否かを判定する（ステップＳ２４１）。具体的には、パタン判定部３８２は、ハニカム判定パタンの検出回数を数えるカウンタの値が閾値以上か否かを判定する。
当該判定は、撮像部３１０の撮像画像が磁気ボード２を撮像した画像であるか否かの判定の例に該当する。なお、ステップＳ２４１における閾値は、例えば、画像処理装置３の設計者が実験にて予め定めておく。
When the loop L11 is terminated in step S233, the
This determination corresponds to an example of determining whether or not the captured image of the
ハニカム判定パタンの検出回数が所定の閾値未満であったと判定した場合（ステップＳ２４１：ＮＯ）、ステップＳ２０１へ戻る。この場合、撮像部３１０の撮像画像が磁気ボード２を撮像した画像ではない可能性が高いため、画像処理装置３は図８の処理をやり直す。
一方、ハニカム判定パタンの検出回数が所定の閾値以上であったと判定した場合（ステップＳ２４１：ＹＥＳ）、撮像部３１０の撮像画像からノイズ除去部３８３が画素を消去した画像に対して後段処理部３９０が更に画像処理を行う。
When it is determined that the number of detections of the honeycomb determination pattern is less than the predetermined threshold (step S241: NO), the process returns to step S201. In this case, there is a high possibility that the image picked up by the
On the other hand, when it is determined that the number of detections of the honeycomb determination pattern is equal to or greater than a predetermined threshold (step S241: YES), a
具体的には、塗り広げ処理部３９１が、ノイズ除去部３８３が画素を消去した画像に対して塗り広げ処理を行う（ステップＳ２５１）。すなわち、塗り広げ処理部３９１は、ノイズ除去部３８３が画素を消去した画像のうち所定の画素値の画素を検出し、検出した画素の画素値を所定の範囲で周囲の画素に書き込む。塗り広げ処理部３９１が仕切り２３３の幅以上に色を塗り広げる処理を行うことで、ノイズ除去部３８３が行った画素の消去にて生じた隙間を埋めることができる。特に、ユーザが磁気ボード２に書いた線が仕切り２３３の部分では途切れて隙間が生じていたのに対し、塗り広げ処理部３９１が塗り広げ処理を行うことで、隙間のない線の像を得られる。
Specifically, the paint spreading
次に、余白透明化処理部３９２は、塗り広げ処理部３９１が塗り広げ処理を行った画像に対して余白を透明化する処理を行う（ステップＳ２５２）。具体的には、余白透明化処理部３９２は、塗り広げ処理部３９１が塗り広げ処理を行った画像のうち、閉領域の部分及び塗り潰されている部分を除いた部分を余白部分として検出し、検出した余白部分の色を透明に設定する。
また、閉領域白塗り処理部３９３は、余白透明化処理部３９２が余白を透明化した画像に対して閉領域の部分を白塗りする処理を行う（ステップＳ２５３）。具体的には、閉領域白塗り処理部３９３は、閉領域の部分を検出し、検出した閉領域の部分のうち黒の部分と赤の部分とを除いた部分の色を白にする。
ステップＳ２５３の後、図８の処理を終了して図７の処理へ戻る。
一方、ステップＳ２２２で全てのハニカム判定パタンが満たされないと判定した場合（ステップＳ２２２：ＮＯ）、ステップＳ２３３へ遷移する。
Next, the margin
In addition, the closed region
After step S253, the process of FIG. 8 is terminated and the process returns to the process of FIG.
On the other hand, when it is determined in step S222 that all the honeycomb determination patterns are not satisfied (step S222: NO), the process proceeds to step S233.
図８のステップＳ１０１の後、制御部３７０は、ステップＳ１０１で得られた画像を表示部３２０の表示画面に表示させる（ステップＳ１０２）。
そして、制御部３７０は、表示部３２０が表示している画像を選択するユーザ操作が行われたか否かを判定する（ステップＳ１０３）。
表示部３２０が表示している画像を選択するユーザ操作が行われていないと判定した場合（ステップＳ１０３：ＮＯ）、ステップＳ１０１へ戻る。
After step S101 in FIG. 8, the
Then, the
When it is determined that the user operation for selecting the image displayed on the
一方、表示部３２０が表示している画像を選択するユーザ操作が行われたと判定した場合（ステップＳ１０３：ＹＥＳ）、制御部３７０は、操作入力部３３０が受け付けるユーザ操作に応じた分岐を行う（ステップＳ１１１）。
操作入力部３３０が画像取得のやり直しを指示するユーザ操作を受けた場合（ステップＳ１１１：やり直し）、ステップＳ１０１へ戻る。
一方、操作入力部３３０が画像の保存を指示するユーザ操作を受けた場合（ステップＳ１１１：保存）、制御部３７０は、得られた画像を記憶部３６０に記憶させる（ステップＳ１２１）。
On the other hand, when it is determined that a user operation for selecting an image displayed on the
When the
On the other hand, when the
そして、後段処理部３９０は、所定のアプリケーションプログラムを実行し、ステップＳ１０１で得られた画像を当該アプリケーションプログラムに適用する（ステップＳ１２２）。例えば、後段処理部３９０は、入力画像を水槽内で魚のように泳がせるアプリケーションプログラムを実行し、ステップＳ１０１で得られた画像を当該アプリケーションプログラムに適用する。これにより、画像処理装置３は、ユーザが磁気ボード２に描いた絵等にノイズ除去等の画像処理を行って水槽内で泳がせる画像を表示する機能を提供する。
Then, the
この、ユーザが磁気ボード２に描いた絵等を水槽内で泳がせる処理は、画面に表示される背景画像上に画像処理にて得られた画像を表示させ、当該画像処理にて得られた画像を当該背景画像上で動作させる処理の例に該当する。水槽の画像は、背景画像の例に該当する。また、ユーザが磁気ボード２に描いた絵等にノイズ処理等の画像処理を行った画像は、画像処理にて得られた画像の例に該当する。
ステップＳ１２２の後、図７の処理を終了する。
一方、操作入力部３３０が、アプリケーションプログラムへの画像の適用を指示するユーザ操作を受けた場合（ステップＳ１１１：アプリ適用）、ステップＳ１２２へ遷移する。
The process of swimming a picture or the like drawn on the
After step S122, the process of FIG. 7 ends.
On the other hand, when the
なお、後段処理部３９０が、ノイズ除去部３８３を含んで構成されている場合、ノイズ除去部３８３は、パタン判定部３８２がステップＳ２３３でループＬ１１の処理を終了した後に、ステップＳ２３１の処理を行う。例えば、ノイズ除去部３８３がループＬ１１と同様のループを実行し、当該ループ内でステップＳ２３１の処理を行うようにしてもよい。あるいは、ノイズ除去部３８３が、消去すべき画素をループＬ１１の実行時に記憶しておき、ループＬ１１の終了後に画素の消去を実行するようにしてもよい。
When the
以上のように、パタン判定部３８２は、撮像部３１０の撮像画像からエッジ検出部３８１が検出したエッジ部分に含まれる画素の当該撮像画像における配置が所定のパタン（ハニカム判定パタン）を満たすか否かを判定する。また、ノイズ除去部３８３は、パタン判定部３８２が所定のパタンを満たすと判定した場合、撮像部３１０の撮像画像のうち当該パタンに対応する所定の画素を消去する。
また、パタン判定部３８２は、所定のパタンを満たすと判定した度合いを示す指標値が、所定の度合い以上に大きいことを示しているか否かを判定する。パタン判定部３８２が、所定のパタンを満たすと判定した度合いを示す指標値が、所定の度合い以上に大きいことを示していると判定した場合、後段処理部３９０は、ノイズ除去部３８３が画素を消去した画像に対してさらに画像処理を行う。
As described above, the
Further, the
このように、パタン判定部３８２は、磁気ボードのハニカム状の模様のように、ノイズ除去部３８３が消去対象としている模様の出現を示すパタンを検出する。そして、後段処理部３９０は、パタン判定部３８２による当該パタンの検出状況に応じて、画像処理を行うか否かを判定する。
従って、絵等が描かれる面にノイズとして消去される模様がある場合、後段処理部３９０は、画像処理を行うか否かの判定を、パタン判定部３８２による当該模様の検出度合いに基づいて行うことができる。従って、処理対象の絵等が描かれる面を識別するための情報を新たに設ける必要がない。
As described above, the
Therefore, when there is a pattern to be erased as noise on the surface on which a picture or the like is drawn, the
また、後段処理部３９０の塗り広げ処理部３９１は、ノイズ除去部３８３が画素を消去した画像のうち所定の画素値の画素を周囲の画素に広げる。これにより、塗り広げ処理部３９１は、ノイズ除去部３８３が行った画素の消去にて生じた隙間を埋めることができる。
また、後段処理部３９０は、表示部３２０画面に表示される背景画像上に、後段処理部３９０の画像処理にて得られた画像を表示させ、当該画像処理にて得られた画像を当該背景画像上で動作させる。これにより、画像処理装置３は、ユーザが描いた絵等を水槽内で泳がせる機能など、ユーザが描いた絵等を動作させる娯楽機能を提供することができる。
In addition, the
Further, the
また、パタン判定部３８２は、ハニカム状の所定の模様に基づいて決められた所定のパタンを満たすか否かを判定する。これにより、パタン判定部３８２は、これにより、パタン判定部３８２は、撮像部３１０の撮像画像にて当該パタンを満たす画素（画素の並び）を検出するという簡単な処理で、当該ハニカム状の所定の模様が撮像画像に含まれているか否かを判定することができる。
The
＜第２の実施形態＞
図９は、本発明の第２の実施形態における画像処理装置の機能構成を示す概略ブロック図である。同図に示すように画像処理装置４は、撮像部３１０と、表示部３２０と、操作入力部３３０と、記憶部３６０と、制御部４７０とを備える。制御部４７０は、スキャン処理部４７１と条件判定部４７２と画像処理部３７１を備える。画像処理部３７１は、前段処理部３８０と、後段処理部３９０とを備える。前段処理部３８０は、エッジ検出部３８１と、パタン判定部３８２と、ノイズ除去部３８３とを備える。後段処理部３９０は、塗り広げ処理部３９１と、余白透明化処理部３９２と、閉領域白塗り処理部３９３とを備える。
<Second Embodiment>
FIG. 9 is a schematic block diagram showing a functional configuration of the image processing apparatus according to the second embodiment of the present invention. As shown in the figure, the
図９の各部のうち図５の各部に対応して同様の機能を示す部分には同一の符号（３１０、３２０、３３０、３６０、３７１、３８０〜３８３、３９０〜３９３）を付して説明を省略する。
画像処理装置４は、スキャン処理部４７１と条件判定部４７２とを備えて撮像部３１０の撮像画像が磁気ボード２を撮像した画像か否かをさらに判定する点で、画像処理装置３（図５）と異なる。それ以外は、第１の実施形態の場合と同様である。
9, the same reference numerals (310, 320, 330, 360, 371, 380 to 383, 390 to 393) are attached to the portions showing the same functions corresponding to the respective portions in FIG. Omitted.
The
スキャン処理部４７１は、撮像部３１０が撮像した画像をラスタスキャンして、所定の色の画素が現れる間隔の平均、及び、当該所定の色の画素の出現回数を求める。スキャン処理部４７１が求めた情報は、撮像部３１０の撮像画像が磁気ボード２を撮像した画像か否かを条件判定部４７２が判定するのに用いられる。
条件判定部４７２は、スキャン処理部４７１が求めた情報が所定の条件を満たすか否かを判定する。これにより、条件判定部４７２は、撮像部３１０の撮像画像が磁気ボード２を撮像した画像か否かを判定する。
The
The
ここで、図１０及び図１１を参照してスキャン処理部４７１及び条件判定部４７２が行う処理について説明する。
図１０は、スキャン処理部４７１によるラスタスキャンにて所定の色の画素が現れるパタンの第１の例を示す説明図である。同図では、撮像部３１０が撮像した画像の画素毎に、仕切り２３３の色の画素を「１」で示し、それ以外の色の画素を「０」で示している。以下では、図１０に例示される、スキャン処理部４７１によるラスタスキャンにて所定の色の画素が現れるパタンを示すデータを、スキャン結果データと称する。仕切り２３３の色の画素は、所定の色の画素に例に該当する。
Here, processing performed by the
FIG. 10 is an explanatory diagram illustrating a first example of a pattern in which pixels of a predetermined color appear in a raster scan by the
図１０は、撮像部３１０が磁気ボード２を撮像した画像の画素うち１つの走査線の一部に対応するスキャン結果データを、撮像画像の対応部分上に示している。スキャン結果データＤ１０１〜Ｄ１１４のうち、Ｄ１０１、Ｄ１０５、Ｄ１０９、Ｄ１１０及びＤ１１４の値は、仕切り２３３の色の画素を示す「１」になっている。それ以外のスキャン結果データ（Ｄ１０２、Ｄ１０３、Ｄ１０４、Ｄ１０６、Ｄ１０７、Ｄ１０８、Ｄ１１１、Ｄ１１２及びＤ１１３）の値は、仕切り２３３以外の色の画素を示す「０」になっている。黒いセル２３４ａ、赤いセル２３４ｂ、白いセル２３４ｃのいずれに対応する画素でも、スキャン結果データの値は「０」になっている。
FIG. 10 shows scan result data corresponding to a part of one scanning line among pixels of an image captured by the
スキャン処理部４７１は、仕切り２３３の色の画素の数として、値が「１」のスキャン結果データの数を計数する。具体的には、スキャン処理部４７１は当該計数用のカウンタを備え、スキャン結果データＤ１０１、Ｄ１０５、Ｄ１０９、Ｄ１１０及びＤ１１４に対応してカウンタ値を１増加（インクリメント）させる。スキャン処理部４７１は、当該計数を、スキャンデータ全体について行う。
The
なお、スキャン結果データＤ１０９及びＤ１１０のように、値が「１」のスキャン結果データが連続している場合、スキャン処理部４７１はいずれか一方のみを計数対象とするようにしてもよい。例えば、スキャン処理部４７１は時間的に先に出現するスキャン結果データＤ１０９についてのみ計数を行うようにしてもよい。
When scan result data having a value of “1” is continuous as in the scan result data D109 and D110, the
また、スキャン処理部４７１は、仕切り２３３の色の画素が現れる間隔の平均として、値が「１」のスキャン結果データの出現間隔の平均を算出する。例えば、スキャン処理部４７１は、スキャン結果データＤ１０１とＤ１０５との間隔を、これらの間にある値「０」のスキャン結果データの個数を用いて「３」と算出する。スキャン結果データＤ１０５とＤ１０９との間隔、及び、スキャン結果データＤ１１０とＤ１１４との間隔についても同様に、スキャン処理部４７１は「３」と算出する。一方、スキャン結果データＤ１０９とＤ１１０との間には、値「０」のスキャン結果データはない。従って、スキャン処理部４７１は、スキャン結果データＤ１０９とＤ１１０との間隔を「０」と算出する。
スキャン処理部４７１は、当該間隔の算出をスキャンデータ全体について行い、間隔の平均値を算出する。
Further, the
The
図１１は、スキャン処理部４７１によるラスタスキャンにて所定の色の画素が現れるパタンの第２の例を示す説明図である。同図では、撮像部３１０が撮像した画像の画素毎に、仕切り２３３の色の画素を「１」で示し、それ以外の色の画素を「０」で示している。
スキャン処理部４７１は、値が「１」のスキャン結果データの間隔が所定の閾値よりも大きい場合、図１０を参照して説明した処理の対象から除外する。
FIG. 11 is an explanatory diagram illustrating a second example of a pattern in which pixels of a predetermined color appear in a raster scan by the
When the interval between scan result data having a value of “1” is larger than a predetermined threshold, the
図１１の例では、スキャン結果データＤ２０１とＤ２１３との値が「１」になっている。それ以外のスキャン結果データ（Ｄ２０２〜Ｄ２１２、Ｄ２１４）の値は「０」になっている。図１０を参照して説明したのと同様に、スキャン処理部４７１は、値が「１」のスキャン結果データＤ２０１とＤ２１３との間隔を「１１」と算出する。
ここで、例えば、磁気ボード２全体の撮像画像が表示部３２０の表示画面いっぱいに映るようにするなど、撮像部３１０による磁気ボード２の撮像に、ある条件（以下、撮像条件と称する）を設定しておく。ユーザが画像処理装置４を用いて磁気ボード２を撮像する際に、当該撮像条件を満たすように撮像することが求められる。
In the example of FIG. 11, the values of the scan result data D201 and D213 are “1”. The values of the other scan result data (D202 to D212, D214) are “0”. As described with reference to FIG. 10, the
Here, for example, a certain condition (hereinafter referred to as an imaging condition) is set for the imaging of the
このように、撮像部３１０による磁気ボード２の撮像に撮像条件を設定しておくことで、撮像部３１０が当該撮像条件を満たして磁気ボード２を撮像した場合にスキャン結果データが示すパタンとしてあり得ないパタンを想定することができる。
例えば、図１０の例のように２つの仕切り２３３の間隔（すなわち、セル２３４の幅）がおおよそ画素３つ分になる場合、例えば画素６つ分以上の間隔となるパタンをあり得ないパタンと想定することができる。
In this way, by setting the imaging conditions for imaging of the
For example, when the interval between the two partitions 233 (that is, the width of the cell 234) is approximately three pixels as in the example of FIG. 10, for example, there is a pattern that cannot have a pattern with an interval of six pixels or more. Can be assumed.
スキャン処理部４７１は、このようなあり得ないパタンの設定を予め記憶しておき、該当するスキャン結果データを、仕切り２３３の色の画素の数の計数対象、及び、仕切り２３３の色の画素が現れる間隔の平均の算出対象から除外する。図１１の例の場合スキャン処理部４７１は、スキャン結果データＤ２１３を、仕切り２３３の色の画素の数の計数対象に含めない（従って、カウンタ値のインクリメントを行わない）。また、スキャン処理部４７１は、スキャン結果データＤ２０１とＤ２１３との間隔「１１」を、仕切り２３３の色の画素が現れる間隔の平均を求める母集団に加えない。
このように、スキャン処理部４７１があり得ないパタンを除外することで、撮像部３１０の撮像画像に仕切り２３３の色と同じ色の物がたまたま映っていた場合でも、仕切り２３３の色の画素の数、及び、仕切り２３３の色の画素が現れる間隔の平均を高精度に得られる。
The
In this way, by excluding patterns that the
条件判定部４７２は、スキャン処理部４７１が求めた情報（仕切り２３３の色の画素の数、及び、仕切り２３３の色の画素が現れる間隔の平均）に基づいて、撮像部３１０の撮像画像が、磁気ボード２を撮像条件に従って撮像して得られた画像か否かを判定する。
具体的には、条件判定部４７２は、スキャン処理部４７１が求めた仕切り２３３の色の画素の数が、所定の上限閾値及び下限閾値の範囲内か否かを判定する。また、条件判定部４７２は、スキャン処理部４７１が求めた仕切り２３３の色の画素が現れる間隔が所定の上限閾値以下か否かを判定する。
Based on the information obtained by the scan processing unit 471 (the number of pixels of the color of the
Specifically, the
これらの閾値（仕切り２３３の色の画素の数の上限閾値及び下限閾値、及び、仕切り２３３の色の画素が現れる間隔の平均の上限閾値）は、所定のハニカム状の模様に応じて設定された所定の条件の例に該当する。
画像処理装置４を調整する者（例えば、スマートフォンを画像処理装置４として動作させるアプリケーションプログラムの提供者）が、撮像部３１０を用いて磁気ボード２を撮像した画像データからこれらの閾値の値を決定し、記憶部３６０に予め記憶させておく。
These threshold values (the upper and lower thresholds for the number of pixels of the color of the
A person who adjusts the image processing apparatus 4 (for example, a provider of an application program that causes a smartphone to operate as the image processing apparatus 4) determines these threshold values from image data obtained by imaging the
ここで、上述したように、画像処理を行う装置に、処理対象の絵等が所定の面に描かれている場合には画像処理を行わせ、他の面に描かれている場合には画像処理を抑制させたい場合がある。
そこで、画像処理部３７１が画像処理を行う条件を、予め設定しておく。そして、撮像部３１０が磁気ボード２を撮像した場合、当該条件が満たされて画像処理部３７１が画像処理を行うようにする。一方、当該条件が満たされない場合、画像処理部３７１が画像処理を行わない（画像処理部３７１による画像処理を抑制する）ようにする。
これにより、画像処理部３７１による画像処理機能を磁気ボード２専用の機能とすることができる。
Here, as described above, the apparatus that performs image processing causes image processing to be performed when a picture or the like to be processed is drawn on a predetermined surface, and an image when the image is drawn on another surface. There is a case where processing is desired to be suppressed.
Therefore, conditions for image processing by the
Thereby, the image processing function by the
特に、スキャン処理部４７１および条件判定部４７２によれば、撮像部３１０の撮像画像をスキャンして、所定の色の画素の数を計数して閾値と比較する処理、及び、所定色の画素が出現する間隔の平均を求めて閾値と比較する処理といった簡単な処理で、画像処理部３７１が画像処理を行うか否かを決定することができる。この点で、画像処理装置３の負荷を抑制することができ、また、画像処理装置３の処理能力が高くなくてもよい。
In particular, according to the
次に、図１２〜図１３を参照して画像処理装置４の動作について説明する。
図１２は、磁気ボード２に書かれた絵に対して画像処理装置４が行う処理の手順の例を示すフローチャートである。画像処理装置３は、例えば処理開始を指示するユーザ操作に従って図１２の処理を開始する。
図１２の処理にて撮像部３１０は撮像画像を取得する（ステップＳ３０１）。例えば撮像部３１０は動画像を撮像しており、動画像の１フレームとしての撮像画像を取得する。
次に、スキャン処理部４７１は、撮像画像に仕切り２３３のハニカム状の模様が含まれているか否かの判定用の情報を取得する（ステップＳ３０２）。具体的には、スキャン処理部４７１は、図１０及び図１１を参照して説明したように、仕切り２３３の色の画素の数、及び、仕切り２３３の色の画素が現れる間隔の平均を求める。
Next, the operation of the
FIG. 12 is a flowchart illustrating an example of a procedure of processing performed by the
In the process of FIG. 12, the
Next, the
図１３は、スキャン処理部４７１が、撮像画像にハニカム状の模様が含まれているか否かの判定用の情報を取得する処理手順の例を示すフローチャートである。スキャン処理部４７１は、図１２のステップＳ３０２にて図１３の処理を行う。
図１３の処理にて、スキャン処理部４７１は、仕切り２３３の色の画素の数を計数するカウンタの値を０にリセットする（ステップＳ４０１）。また、スキャン処理部４７１は、仕切り２３３の色の画素の間隔の合計を０に初期設定する（ステップＳ４０２）。
FIG. 13 is a flowchart illustrating an example of a processing procedure in which the
In the process of FIG. 13, the
次に、スキャン処理部４７１は、撮像部３１０の撮像画像をラスタスキャンして画素毎に処理を行うループＬ２１を開始する（ステップＳ４１１）。以下では、ループＬ２１で処理対象になっている画素を対象画素と称する。
スキャン処理部４７１は、対象画素の色が仕切り２３３の色か否かを判定する（ステップＳ４１２）。
Next, the
The
対象画素の色が仕切り２３３の色であると判定した場合（ステップＳ４１２：ＹＥＳ）、スキャン処理部４７１は、直近過去に仕切り２３３の色であると判定した画素の位置を読み出す（ステップＳ４２１）。
なお、対象画素の色が仕切り２３３の色であると最初に判定した場合（初回判定時）は、ステップＳ４２１を飛ばしてステップＳ４２２へ進む。
When it is determined that the color of the target pixel is the color of the partition 233 (step S412: YES), the
If it is first determined that the color of the target pixel is the color of the partition 233 (at the time of the first determination), step S421 is skipped and the process proceeds to step S422.
次に、スキャン処理部４７１は、現在の対象画素の位置と、ステップＳ４２１で読み出した画素の位置との間隔を算出する（ステップＳ４２２）。例えば、図１０及び図１１を参照して説明したように、スキャン処理部４７１は、現在の対象画素の位置と、ステップＳ２２１で読み出した画素の間に位置する画素の数を当該間隔として算出する。
なお、対象画素の色が仕切り２３３の色であると最初に判定した場合（初回判定時）は、間隔を０に設定する。
Next, the
When it is first determined that the color of the target pixel is the color of the partition 233 (at the first determination), the interval is set to 0.
次に、スキャン処理部４７１は、ステップＳ４２２で得られた間隔が所定の閾値以下か否かを判定する（ステップＳ４２３）。図１１を参照して説明したように、仕切り２３３の色の画素の間隔としてあり得ない間隔を処理対象から除外するためである。
閾値以下であると判定した場合（ステップＳ４２３：ＹＥＳ）、スキャン処理部４７１は、仕切り２３３の色の画素の数を更新する（ステップＳ４３１）。具体的には、スキャン処理部４７１は、仕切り２３３の色の画素の数を計数するカウンタの値を１増加させる。
Next, the
When it is determined that the value is equal to or less than the threshold (step S423: YES), the
また、スキャン処理部４７１は、仕切り２３３の色の画素の間隔の合計を更新する（ステップＳ４３２）。具体的には、スキャン処理部４７１は、仕切り２３３の色の画素の間隔の合計の値に、ステップＳ４２２で得られた間隔を加算する。
また、スキャン処理部４７１は、対象画素の位置を記憶する（ステップＳ４３３）。当該位置は、ステップＳ４２１で、直近過去に仕切り２３３の色であると判定した画素の位置として読み出される。
In addition, the
In addition, the
次に、スキャン処理部４７１は、ループＬ２１の終端処理を行う（ステップＳ４３４）。具体的には、スキャン処理部４７１は、撮像部３１０の撮像画像に含まれる全ての画素に対してループＬ２１の処理を行ったか否かを判定する。全ての画素に対してループＬ２１の処理を行ったと判定した場合、スキャン処理部４７１は、ループＬ２１を終了する。一方、未処理の画素があると判定した場合、スキャン処理部４７１は、ステップＳ４１１に戻り引き続きループＬ２１の処理を行う。
Next, the
ループＬ２１を終了した後、スキャン処理部４７１は、仕切り２３３の色の画素の間隔の平均を算出する（ステップＳ４４１）。具体的には、スキャン処理部４７１は、仕切り２３３の色の画素の間隔の合計を（仕切り２３３の色の画素の計数値−１）で除算する。
ステップＳ４４１の後、図１３の処理を終了して図１２の処理へ戻る。
After completing the loop L21, the
After step S441, the process of FIG. 13 is terminated and the process returns to the process of FIG.
一方、ステップＳ４１２で対象画素の色が仕切り２３３の色ではないと判定した場合（ステップＳ４１２：ＮＯ）、ステップＳ４３４へ遷移する。
また、ステップＳ４２３で、間隔が所定の閾値より大きいと判定した場合（ステップＳ４２３：ＮＯ）、ステップＳ４３４へ遷移する。
On the other hand, if it is determined in step S412 that the color of the target pixel is not the color of the partition 233 (step S412: NO), the process proceeds to step S434.
If it is determined in step S423 that the interval is larger than the predetermined threshold (step S423: NO), the process proceeds to step S434.
図１２のステップＳ３０２の処理の後、条件判定部４７２は、ステップＳ３０２でスキャン処理部４７１が取得した情報に基づいて、撮像画像に仕切り２３３のハニカム状の模様が含まれているか否かを判定する（ステップＳ３０３）。具体的には、条件判定部４７２は、図１０及び図１１を参照して説明したように、仕切り２３３の色の画素の数が所定の範囲内にあり、かつ、仕切り２３３の色の画素が現れる間隔の平均が所定の間隔以下か否かを判定する。
After the process of step S302 in FIG. 12, the
撮像画像に仕切り２３３のハニカム状の模様が含まれていないと判定した場合（ステップＳ３０３：ＮＯ）、ステップＳ３０１へ戻る。この場合、画像処理装置３はステップＳ３１１での画像処理を開始しない。
一方、撮像画像に仕切り２３３のハニカム状の模様が含まれていると判定した場合（ステップＳ３０３：ＹＥＳ）、ステップＳ３１１へ遷移する。
ステップＳ３１１〜Ｓ３３２は、図７のステップＳ１０１〜Ｓ１２２と同様である。
ステップＳ３３２の後、図１２の処理を終了する。
When it is determined that the captured image does not include the honeycomb pattern of the partition 233 (step S303: NO), the process returns to step S301. In this case, the image processing device 3 does not start the image processing in step S311.
On the other hand, when it is determined that the honeycomb image of the
Steps S311 to S332 are the same as steps S101 to S122 in FIG.
After step S332, the process of FIG.
以上のように、スキャン処理部４７１は、撮像部３１０の撮像画像をラスタスキャンして、仕切り２３３の色の画素が現れる間隔の平均を求める。そして、条件判定部４７２は、仕切り２３３の色の画素が現れる間隔の平均に基づく所定の条件が成立するか否か（例えば、仕切り２３３の色の画素が現れる平均が所定の閾値以下か否か）を判定する。画像処理部３７１は、所定の条件が成立すると条件判定部４７２が判定すると、撮像部３１０の撮像画像に対して画像処理を行う。
画像処理装置４によれば、条件が満たされない場合には画像処理部３７１による画像処理を抑制する点で、画像処理部３７１が処理対象とする画像を限定することができる。撮像部３１０が磁気ボード２を撮像した画像に対してはが画像処理部３７１が画像処理を行うことで、画像処理装置４に画像処理を行わせたいユーザが磁気ボードを有していない場合、磁気ボードを購入する可能性がある。
また、画像処理装置４は、撮像部３１０の撮像画像をスキャンして、所定色の画素が出現する間隔の平均を求めて閾値と比較する処理といった簡単な処理で、画像処理部３７１が画像処理を行うか否かを決定することができる。この点で、画像処理装置３の負荷を抑制することができ、また、画像処理装置３の処理能力が高くなくてもよい。
As described above, the
According to the
The
また、スキャン処理部４７１は、仕切り２３３の色の画素の出現回数をさらに求める。そして、条件判定部４７２は、仕切り２３３の色の画素が現れる間隔の平均、及び、仕切り２３３の色の画素の出現回数に基づく所定の条件が成立するか否かを判定する。
画像処理装置３によれば、条件が満たされない場合には画像処理部３７１による画像処理を抑制する点で、画像処理部３７１が処理対象とする画像を限定することができる。撮像部３１０が磁気ボード２を撮像した画像に対してはが画像処理部３７１が画像処理を行うことで、画像処理装置４に画像処理を行わせたいユーザが磁気ボードを有していない場合、磁気ボードを購入する可能性がある。
また、画像処理装置４は、撮像部３１０の撮像画像をスキャンして、所定の色の画素の数を計数して閾値と比較する処理、及び、所定色の画素が出現する間隔の平均を求めて閾値と比較する処理といった簡単な処理で、画像処理部３７１が画像処理を行うか否かを決定することができる。この点で、画像処理装置４の負荷を抑制することができ、また、画像処理装置４の処理能力が高くなくてもよい。
In addition, the
According to the image processing device 3, the image to be processed by the
In addition, the
また、条件判定部４７２は、仕切り２３３によるハニカム状の模様に応じて設定された所定の条件が成立するか否かを判定する。これにより、画像処理装置４では、撮像部３１０の撮像画像をスキャンして、所定色の画素が出現する間隔の平均を求めて閾値と比較する処理といった簡単な処理で、仕切り２３３によるハニカム状の模様が撮像画像に含まれているか否かを判定することができる。
Further, the
なお、以上では、画像処理装置３又は３が、磁気ボード２に書かれた絵等を撮像して画像処理を行う場合を例に説明したが、画像処理装置３又は４の処理対象は磁気ボード２の画像に限らない。例えば、画像処理装置３又は４が、所定の模様の繰り返しを含む壁紙に書かれた絵を撮像した画像を処理するなど、磁気ボード２の画像以外の画像を処理対象とするようにしてもよい。
In the above description, the case where the image processing device 3 or 3 captures a picture or the like written on the
なお、制御部３７０又は４７０の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
A program for realizing all or part of the functions of the
Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like without departing from the gist of the present invention.
１ 画像処理システム
２ 磁気ボード
３、４ 画像処理装置
３１０ 撮像部
３２０ 表示部
３３０ 操作入力部
３６０ 記憶部
３７０、４７０ 制御部
３７１ 画像処理部
３８０ 前段処理部
３８１ エッジ検出部
３８２ パタン判定部
３８３ ノイズ除去部
３９０ 後段処理部
３９１ 塗り広げ処理部
３９２ 余白透明化処理部
３９３ 閉領域白塗り処理部
４７１ スキャン処理部
４７２ 条件判定部
DESCRIPTION OF
Claims (12)
前記画像のエッジ検出を行うエッジ検出部と、
前記エッジ検出にて検出されたエッジ部分に含まれる画素の前記画像における配置が所定のパタンを満たすか否かを判定するパタン判定部と、
前記パタン判定部が前記所定のパタンを満たすと判定した場合、当該パタンに対応する所定の画素を消去するノイズ除去部と、
画像全体で、前記パタン判定部が、前記エッジ部分に含まれる画素の配置が所定のパタンを満たすと判定した回数を示す指標値が、所定の度合い以上に大きいことを示す場合、前記ノイズ除去部が画素を消去した画像に対してさらに画像処理を行う後段処理部と、
を備える画像処理装置。 An image acquisition unit for acquiring images;
An edge detection unit for detecting an edge of the image;
A pattern determination unit that determines whether or not an arrangement of pixels included in the edge portion detected by the edge detection satisfies a predetermined pattern;
A noise removal unit that erases a predetermined pixel corresponding to the pattern when the pattern determination unit determines that the predetermined pattern is satisfied;
When the index value indicating the number of times that the pattern determination unit determines that the arrangement of pixels included in the edge portion satisfies a predetermined pattern in the entire image indicates that the index value is greater than a predetermined degree, the noise removal unit A post-processing unit that performs further image processing on an image from which pixels have been deleted,
An image processing apparatus comprising:
前記画像のエッジ検出を行うエッジ検出部と、
前記エッジ検出にて検出されたエッジ部分に含まれる画素の前記画像における配置が所定のパタンを満たすか否かを判定するパタン判定部と、
画像全体で、前記パタン判定部が、前記エッジ部分に含まれる画素の配置が所定のパタンを満たすと判定した回数を示す指標値が、所定の度合い以上に大きいことを示す場合、前記画像取得部が取得した画像に対してさらに画像処理を行う後段処理部と、
を備え、
前記後段処理部は、前記パタン判定部が前記所定のパタンを満たすと判定した場合、当該パタンに対応する所定の画素を消去するノイズ除去部を備える
画像処理装置。 An image acquisition unit for acquiring images;
An edge detection unit for detecting an edge of the image;
A pattern determination unit that determines whether or not an arrangement of pixels included in the edge portion detected by the edge detection satisfies a predetermined pattern;
When the index value indicating the number of times that the pattern determination unit determines that the arrangement of pixels included in the edge portion satisfies a predetermined pattern in the entire image indicates that the index value is greater than a predetermined degree, the image acquisition unit A post-processing unit that performs further image processing on the acquired image;
With
The post-processing unit includes a noise removing unit that erases a predetermined pixel corresponding to the pattern when the pattern determination unit determines that the predetermined pattern is satisfied.
前記所定の色の画素が現れる間隔の平均に基づく所定の条件が成立するか否かを判定する条件判定部と、
を備え、
前記エッジ検出部は、前記所定の条件が成立すると前記条件判定部が判定した場合に、前記エッジ部分を検出する、
請求項１から５のいずれか一項に記載の画像処理装置。 A scan processing unit that scans the image acquired by the image acquisition unit to obtain an average of intervals at which pixels of a predetermined color appear; and
A condition determination unit that determines whether a predetermined condition based on an average of intervals at which the pixels of the predetermined color appear is satisfied;
With
The edge detection unit detects the edge portion when the condition determination unit determines that the predetermined condition is satisfied,
The image processing apparatus according to claim 1.
前記条件判定部は、前記所定の色の画素が現れる間隔の平均、及び、前記所定の色の画素の出現回数に基づく所定の条件が成立するか否かを判定する、
請求項６に記載の画像処理装置。 The scan processing unit further determines the number of appearances of the pixel of the predetermined color,
The condition determination unit determines whether or not a predetermined condition based on an average of intervals at which the pixels of the predetermined color appear and the number of appearances of the pixels of the predetermined color is satisfied.
The image processing apparatus according to claim 6.
請求項６または請求項７に記載の画像処理装置。 The condition determination unit determines whether or not the predetermined condition set according to a predetermined honeycomb pattern is satisfied;
The image processing apparatus according to claim 6 or 7.
画像を取得する画像取得ステップと、
前記画像のうち隣接する画素との画素値の差が所定の閾値以上であるエッジ部分を検出するエッジ検出ステップと、
前記エッジ部分に含まれる画素の前記画像における配置が所定のパタンを満たすか否かを判定するパタン判定ステップと、
前記パタン判定ステップにて前記所定のパタンを満たすと判定した画素を消去するノイズ除去ステップと、
画像全体について、前記パタン判定ステップにて、前記エッジ部分に含まれる画素の配置が所定のパタンを満たすと判定した回数を示す指標値が、前記所定のパタンを満たすと判定した度合いが所定の度合い以上に大きいことを示す場合、前記ノイズ除去ステップにて画素を消去した画像に対してさらに画像処理を行う後段処理ステップと、
を含む画像処理方法。 An image processing method of an image processing apparatus,
An image acquisition step of acquiring an image;
An edge detection step of detecting an edge portion in which a difference in pixel value between adjacent pixels in the image is a predetermined threshold value or more;
A pattern determining step for determining whether or not an arrangement of pixels included in the edge portion in the image satisfies a predetermined pattern;
A noise removal step of erasing pixels determined to satisfy the predetermined pattern in the pattern determination step;
The degree to which the index value indicating the number of times it is determined that the arrangement of pixels included in the edge portion satisfies the predetermined pattern in the pattern determination step for the entire image is a predetermined degree If it indicates greater than the above, a subsequent processing step for further performing image processing on the image from which pixels have been deleted in the noise removal step;
An image processing method including:
画像を取得する画像取得ステップと、
前記画像のうち隣接する画素との画素値の差が所定の閾値以上であるエッジ部分を検出するエッジ検出ステップと、
前記エッジ部分に含まれる画素の前記画像における配置が所定のパタンを満たすか否かを判定するパタン判定ステップと、
画像全体について、前記パタン判定ステップにて、前記エッジ部分に含まれる画素の配置が所定のパタンを満たすと判定した回数を示す指標値が、前記所定のパタンを満たすと判定した度合いが所定の度合い以上に大きいことを示す場合、前記画像取得ステップにて取得した画像に対してさらに画像処理を行う後段処理ステップと、
を含み、
前記後段処理ステップは、前記パタン判定ステップにて前記所定のパタンを満たすと判定した画素を消去するノイズ除去ステップを含む、
画像処理方法。 An image processing method of an image processing apparatus,
An image acquisition step of acquiring an image;
An edge detection step of detecting an edge portion in which a difference in pixel value between adjacent pixels in the image is a predetermined threshold value or more;
A pattern determining step for determining whether or not an arrangement of pixels included in the edge portion in the image satisfies a predetermined pattern;
The degree to which the index value indicating the number of times it is determined that the arrangement of pixels included in the edge portion satisfies the predetermined pattern in the pattern determination step for the entire image is a predetermined degree If it indicates greater than the above, a subsequent processing step of further performing image processing on the image acquired in the image acquisition step;
Including
The post-stage processing step includes a noise removing step of erasing pixels determined to satisfy the predetermined pattern in the pattern determination step.
Image processing method.
画像を取得する画像取得ステップと、
前記画像のうち隣接する画素との画素値の差が所定の閾値以上であるエッジ部分を検出するエッジ検出ステップと、
前記エッジ部分に含まれる画素の前記画像における配置が所定のパタンを満たすか否かを判定するパタン判定ステップと、
前記パタン判定ステップにて前記所定のパタンを満たすと判定した画素を消去するノイズ除去ステップと、
画像全体について、前記パタン判定ステップにて、前記エッジ部分に含まれる画素の配置が所定のパタンを満たすと判定した回数を示す指標値が、前記所定のパタンを満たすと判定した度合いが所定の度合い以上に大きいことを示す場合、前記ノイズ除去ステップにて画素を消去した画像に対してさらに画像処理を行う後段処理ステップと、
を実行させるためのプログラム。 On the computer,
An image acquisition step of acquiring an image;
An edge detection step of detecting an edge portion in which a difference in pixel value between adjacent pixels in the image is a predetermined threshold value or more;
A pattern determining step for determining whether or not an arrangement of pixels included in the edge portion in the image satisfies a predetermined pattern;
A noise removal step of erasing pixels determined to satisfy the predetermined pattern in the pattern determination step;
The degree to which the index value indicating the number of times it is determined that the arrangement of pixels included in the edge portion satisfies the predetermined pattern in the pattern determination step for the entire image is a predetermined degree If it indicates greater than the above, a subsequent processing step for further performing image processing on the image from which pixels have been deleted in the noise removal step;
A program for running
画像を取得する画像取得ステップと、
前記画像のうち隣接する画素との画素値の差が所定の閾値以上であるエッジ部分を検出するエッジ検出ステップと、
前記エッジ部分に含まれる画素の前記画像における配置が所定のパタンを満たすか否かを判定するパタン判定ステップと、
画像全体について、前記パタン判定ステップにて、前記エッジ部分に含まれる画素の配置が所定のパタンを満たすと判定した回数を示す指標値が、前記所定のパタンを満たすと判定した度合いが所定の度合い以上に大きいことを示す場合、前記画像取得ステップにて取得した画像に対してさらに画像処理を行う後段処理ステップと、
を実行させ、
前記後段処理ステップでは、前記パタン判定ステップにて前記所定のパタンを満たすと判定した画素を消去するノイズ除去ステップを実行させるためのプログラム。 On the computer,
An image acquisition step of acquiring an image;
An edge detection step of detecting an edge portion in which a difference in pixel value between adjacent pixels in the image is a predetermined threshold value or more;
A pattern determining step for determining whether or not an arrangement of pixels included in the edge portion in the image satisfies a predetermined pattern;
The degree to which the index value indicating the number of times it is determined that the arrangement of pixels included in the edge portion satisfies the predetermined pattern in the pattern determination step for the entire image is a predetermined degree If it indicates greater than the above, a subsequent processing step of further performing image processing on the image acquired in the image acquisition step;
And execute
In the subsequent processing step, a program for executing a noise removal step of erasing pixels determined to satisfy the predetermined pattern in the pattern determination step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015119790A JP5974140B1 (en) | 2015-06-12 | 2015-06-12 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015119790A JP5974140B1 (en) | 2015-06-12 | 2015-06-12 | Image processing apparatus, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP5974140B1 true JP5974140B1 (en) | 2016-08-23 |
| JP2017004394A JP2017004394A (en) | 2017-01-05 |
Family
ID=56708087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015119790A Expired - Fee Related JP5974140B1 (en) | 2015-06-12 | 2015-06-12 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5974140B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11250114A (en) * | 1998-03-02 | 1999-09-17 | Ricoh Co Ltd | Method and device for recognizing construction drawing and computer-readable recording medium recorded with construction drawing recognizing program |
| JP2004274517A (en) * | 2003-03-10 | 2004-09-30 | Kokuyo Co Ltd | Drawing apparatus |
| JP2006514344A (en) * | 2002-05-27 | 2006-04-27 | リアルアイズスリーディー | Digital capture, storage, and transmission method of information by camera equipped in communication terminal |
-
2015
- 2015-06-12 JP JP2015119790A patent/JP5974140B1/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11250114A (en) * | 1998-03-02 | 1999-09-17 | Ricoh Co Ltd | Method and device for recognizing construction drawing and computer-readable recording medium recorded with construction drawing recognizing program |
| JP2006514344A (en) * | 2002-05-27 | 2006-04-27 | リアルアイズスリーディー | Digital capture, storage, and transmission method of information by camera equipped in communication terminal |
| JP2004274517A (en) * | 2003-03-10 | 2004-09-30 | Kokuyo Co Ltd | Drawing apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017004394A (en) | 2017-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11114130B2 (en) | Method and device for processing video | |
| US9792676B2 (en) | System for background subtraction with 3D camera | |
| EP2174293B1 (en) | Computing a depth map | |
| KR102162419B1 (en) | System and method for perceiving images with multimodal feedback | |
| US20030053692A1 (en) | Method of and apparatus for segmenting a pixellated image | |
| CN106713696B (en) | Image processing method and device | |
| TWI526982B (en) | Area segmentation method, computer program product and inspection device | |
| JP5368585B2 (en) | Information processing apparatus, method thereof, and display apparatus | |
| JP2008225838A (en) | Apparatus, method, and program for face feature point detection | |
| CN109214999A (en) | A kind of removing method and device of video caption | |
| KR102084343B1 (en) | Background removal | |
| CN112135041B (en) | Method and device for processing special effect of human face and storage medium | |
| AU2013273722A1 (en) | Method, system and apparatus for removing a marker projected in a scene | |
| CN106251348A (en) | A kind of self adaptation multi thread towards depth camera merges background subtraction method | |
| JP5974140B1 (en) | Image processing apparatus, image processing method, and program | |
| US20160267356A1 (en) | Image processing apparatus and image processing method of performing image segmentation | |
| TW201543445A (en) | Display apparatus and display method | |
| JP6479220B2 (en) | Content projection control device, content projection control method, and program | |
| KR101539038B1 (en) | Hole-filling method for depth map obtained from multiple depth camera | |
| JP4764177B2 (en) | Projection display device, written image extraction method and program, and computer-readable information recording medium on which the program is recorded | |
| CN107277354B (en) | Virtual photographing method, virtual photographing terminal and computer readable storage medium | |
| JP4831344B2 (en) | Eye position detection method | |
| US20130329001A1 (en) | Motion Adaptive Image Slice Selection | |
| JP4436101B2 (en) | robot | |
| EP2287805A1 (en) | Image processing device, image processing method, and information storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160628 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160715 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5974140 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |