JP5335501B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、楽譜を表現する画像データを画像処理する画像処理装置、画像処理方法およびプログラムに関する。

原稿の中でも特に、音楽の演奏用の楽譜には、過去の歴史的経緯より蓄積されたルールに基づき、演奏するための情報が書き込まれている。例えば、音符の情報をとっても、音の高さ、音の組み合わせである和音、音の長さ、リズムなどの情報が書き込まれている。また、演奏する音の強弱、演奏するリズムの変化、演奏する順序の指示、演奏の「表情」の指示などの情報が記号として記載されている。演奏者はこれらの楽譜を元に、自分が理解し易い記号を書き込んだり、上級者に書き込んでもらったりしていた。また、有名な楽曲では楽譜の出版元で理解し易い簡易符号を追記して出版している。また、特に、入門書では、例えば和音であればギターのフレッド上でどの弦を押さえると良いかの図を記載する場合や、鍵盤のどこを弾くと良いかの図を記載するものがあった。出版社として、電子データを基にギター用のＴＡＢ譜と呼ばれる演奏補助データを編集する方法が、特開平２−１２１８５７に開示されている。

特開平２−１２１８５７号公報

しかしながら、特開平２−１２１８５７には、ＴＡＢ譜の編集方法について開示しているのみである。また、ＴＡＢ譜を追加することにより楽譜の段組が変化してしまうことが課題として考えられる。これは、特に複数のパートに分かれる楽譜の場合、対応ページ数が合わずに問題となってしまう。

また、それ以外の記号や他の楽器については、変換そのものの技術が開示されていない。また、著名な練習曲では、そのような演奏のための補助記号が付加された楽譜を購入できるが、オリジナルの楽曲においては、作曲者が自ら楽譜使用者の習熟レベルに合わせて記入する必要がある。もしくは、楽譜使用者が自分で楽譜に書き込む、もしくは熟練者に書き込んでもらうという必要があって、甚だ非効率であった。

上記の点に鑑み、本発明は、楽譜に配置されている演奏記号に対応する補助記号が配置された当該楽譜を容易に出力することができる画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。

上記課題を解決するため、本発明に係る画像処理装置は、演奏記号が配置され余白を含む楽譜に対応する画像を入力する入力手段と、前記入力手段により入力された前記画像から、前記楽譜に配置されている前記演奏記号を抽出する抽出手段と、楽譜に従って演奏するための補助記号を演奏記号に対応させて特定するための情報に基づき、前記抽出手段により抽出された前記演奏記号に対応する前記補助記号を特定する特定手段と、前記入力手段により入力された前記画像を解析することにより、前記特定手段により特定された前記補助記号が前記楽譜に配置されるときの配置領域を、当該楽譜の前記余白における当該楽譜上の前記演奏記号に対応する領域に当該補助記号が配置されるように決定する決定手段と、前記入力手段により入力された前記画像に対応する前記楽譜のレイアウトを維持するように前記演奏記号が配置され、前記特定手段により特定された前記補助記号が前記決定手段により決定された配置領域に新たに配置された楽譜を作成する作成手段と、を有することを特徴とする。

本発明によれば、楽譜に配置されている演奏記号に対応する補助記号が配置された当該楽譜を容易に出力することができる。

画像処理装置の構成例を示すブロック図である。 画像入力部についての具体的な構成例を示す図である。 画像処理装置において実行される楽譜編集方法を示すフローチャートである。 表示部が表示する編集内容の一例を示す図である。 表示部が表示する編集内容の他の例を示す図である。 画像入力部から読み取られた画像の一例を示す図である。 禁止領域とレイアウト可能な領域を説明する図である。 指に番号が割り振られている一例を示す図である。 楽譜データからコード名に変換する際に用いるテーブルを示す図である。 補助記号のレイアウト処理の手順を示すフローチャートである。

以下に、本発明を実施するための形態について、図面を参照しながら詳しく説明する。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。

［第１の実施例］
図１は、本実施例に係る画像処理装置１００の構成例を示すブロック図である。図１に示す画像処理装置１００としては、ＭＦＰ（Multi Function Peripheral：複合機能周辺装置）が用いられる。図１において、画像入力部１は、編集の元となる画像を入力する。画像入力部１は、既に電子化されたデータを使う場合と画像読取を行う場合とに用いられる。以下、例として、原稿画像をスキャナ等で読み取る場合を説明するが、電子化されたデータを使う場合も同様である。画像入力部１は、原稿画像からの反射光または透過光を受光素子により光電変換し、多値の輝度データとして取得する。

駆動部２は、画像入力部１および画像出力部１２の動作におけるモータ、モータの駆動力を伝達するギヤ、モータを制御するドライバ回路などから構成される。ここで、一方向に配置されたラインセンサを使用する場合には、ラインセンサと平行の方向を主走査方向、ラインセンサと垂直の方向を副走査方向と呼ぶ。すなわち、駆動部２により移動する方向は副走査方向となる。ＣＰＵ３は、画像処理装置１００が備える様々な機能を制御し、操作部６の所定の操作に従い、ＲＯＭ４に記憶された画像処理プログラムを実行する。また、不揮発性メモリ５は、バッテリバックアップされたＳＲＡＭや書換え可能なＲＯＭなどで構成され、画像処理装置に固有のデータなどを記憶する。例えば、後述する、補助記号を表示するために必要な情報を保管する。

また、操作部６は、画像編集処理を行う設定キー、どのような変換を行うかを選択するためのキー、スタートキー、モードキー、カラー／モノクロ印刷を切り替えるキー、動作を停止するためのストップキー、出力部数を入力するテンキー等から構成される。ＣＰＵ３は、これらのキーの押下状態を検出し、その状態に応じて各部を制御する。表示部７は、ドットマトリクスタイプの液晶表示部（ＬＣＤ）及びＬＣＤドライバを備え、ＣＰＵの制御に基づき各種表示を行う。また、スキャンした画像データのサムネイルを表示する。ユーザは、操作部６と表示部７を用いて、後述する画像の編集内容を指示することができる。

原稿（楽譜）情報検出部８は、画像を解析して原稿上の情報を得る。ここでは、原稿である楽譜上の音の高さ、長さ、組み合わせ（和音）や楽譜上の記号（強弱記号など）を検出する。余白領域検出部９は、原稿上の情報のない余白部分を、後述する補助記号をレイアウトするために必要な余白領域として検出する。変換部１０は、ユーザによる編集内容の指示に基づいて、検出された原稿上の情報に対して変換処理を行う。レイアウト部１１は、変換された原稿上の情報を示すデータと余白領域のデータとに基づき、補助記号のレイアウトを行うレイアウト編集を行う。画像出力部１２は、インクジェット方式のインクジェットヘッド、電子写真式のプリンタと制御用ＩＣなどによって構成される。画像出力部１２は、ＣＰＵ３の制御により不揮発性メモリ５に格納されている印刷データを読み出し、ハードコピーとしてプリント出力する。特に、本実施例においては、画像出力部１２は、レイアウト編集された画像を用紙にプリントあるいはディスプレイ出力する。

図２は、図１に示す画像入力部１についての具体的な構成例を示す図である。光源２３は、原稿台ガラス２１に置かれた読取り原稿２２に対して照射する。また、レンズ２４は、原稿で反射・拡散した光を集光する。受光センサ２６は、レンズ２４とミラー２５とからなる光学系において、集光された光を光電変換する。受光センサ２６には、例えば、ＣＣＤやＣＭＯＳタイプが用いられる。電気回路２７は、アナログ信号をデジタル信号に変換するアナログフロントエンドである。基準板２８は、原稿台ガラス２１の面の読取り位置に取り付けられており、シェーディング補正に用いられる。カラー画像を読み取る場合には、白色光が光源２３に用いられ、ＲＧＢの各フィルタにより特定の波長の光が吸収された後、受光センサで光電変換されて、カラー画像が得られる。または、ＲＧＢの波長を持った光源を逐次点灯し、受光センサで光電変換することにより、カラー画像が得られるようにしても良い。また、図２中の光学系には、レンズを用いて像を縮小する縮小光学系と、画像サイズと等倍のセンサを用いてスキャンするＣＩＳ（Contact Image Sensor）系の方式が一般的に用いられる。光源２３、レンズ２４及びミラー２５からなる光学系、受光センサ２６、電気回路２７を含むユニットとした駆動部２を副走査方向に移動させることにより、原稿の画像データが取得される。

［全体処理フローの説明］
図３は、本実施例における画像処理装置において実行される楽譜編集方法を示すフローチャートである。以下、各ステップについて説明する。ステップＳ３０１において、ユーザによる編集内容の指示が行われる。本実施例においては、複数のタブにより、ピアノ演奏用、ギター演奏用、合唱用などの楽器毎や、よみがな、記号解説用などに編集内容が分類されて表示される。複数のタブの構成により、多くの編集内容を容易に編集可能としている。例えば、楽譜編集モードが選択された場合、以下に説明するような表示例に従い、操作部６と表示部７を使用して編集内容の指示が行われる。

図４の（ａ）は、マンマシンインタフェースとしての表示部７の一例を示す図である。まず、ユーザがピアノ演奏のタブシートを所望する場合、補助記号編集用のタブシート４０１を選択する。ユーザは、更に、そのタブの中で表示される選択肢の中からどの種類の補助記号を楽譜上に追加するかを選択する。補助記号としては、楽譜上のそれぞれの音符を左右両手のどの指で演奏するかを示す指使いを示す補助記号４０２や、和音を示すコード名を示す補助記号４０３がある。また、キーボードでどの鍵盤を押さえればよいかという簡易表示を示す補助記号４０４や、子どもなどの初心者でも馴染みやすいように楽譜専門用語を用いずに解りやすくマークで示す補助記号４０５がある。

また、直接、表示方法を選択するだけでなく、図５の（ａ）又は（ｂ）に示すように、それぞれの編集内容を「中級」「初級」「はじめて」「キッズモード」として更に分類するようにしても良い。また、「キッズモード」を選択した場合に、キーボードの絵ではなく、例えばキーボードに張ったシールと同じ絵柄や色の記号を表示するようにすると初心者や子どもの練習用には好ましい場合がある。

ギター楽譜のタブを選択して編集する場合には、図４の（ｂ）に示すようなギター演奏の補助記号編集用のタブシート４０６に移行する。タブシートの４０１の場合と同様に、ユーザは、選択肢の中からどの種類の補助記号を楽譜上に追加するかを選択する。例えば、ギター演奏用のコードを追加編集する場合は、コード情報を示す補助記号４０７や、コードを押さえるためのフレッド上での指使い表示を示す補助記号４０８を選択する。また、他の楽器で用いる演奏補助記号の場合も、他のタブシートを選択して同様に行う。また、楽器以外の声楽用に音符の音階をつけるようなタブシートを構成しても良いし、楽譜上の記号の意味を解りやすく解説する学習モードのようなタブシートを構成しても良い。また、タブシートは、上記の楽器毎ではなく、「指運び」「コード」「アイコン」などで分類しても良い。また、ステップＳ３０１における指示として、タブ構造による表示部７による指示だけでなく、他の表示方法、選択方法が用いられても良い。

以下、Ｓ３０１においてユーザによりタブシート４０１が選択され、更に、ピアノの指使いを示す補助記号４０２が選択された場合について説明する。ステップＳ３０２において、画像入力部１から画像が読み取られると、デバイスの分光特性により得られたＲＧＢ信号が、画像処理を行う標準的な色空間に入力プロファイル変換される。ステップＳ３０２において、図６に示すようなビットマップ画像データとして得られる。

ステップＳ３０３において、画像前処理として、画像の傾き補正を行う。これは、読取装置が原稿を読み取る際に、原稿が傾く場合や原稿上の楽譜がそもそも傾いている場合があるために行われる。傾き補正としては、例えば、楽譜の五線画像の直線性を利用する方法が用いられる。図６に示すように、複数の角度でヒストグラムを作成した場合、五線に平行な角度の場合には、五線に相当する部分のヒストグラムの山谷が深くなる。即ち、五線の直線データが主走査方向に平行になる角度を算出して画像全体に対して回転補正を行う。また、必要であれば、固定もしくは動的な閾値を有する２値化の演算も行う。ここで、２値化の方法としては、固定の閾値を用いても良いし、原稿の最高濃度や紙白が原稿により異なる場合には、明度のヒストグラムを作成した後、適切な閾値を算出するようにしても良い。また、フィルタ処理を用いて、五線や音符の旗の細線再現性を高めるために太らせ処理をするようにしても良い。ステップＳ３０３で画像前処理された画像を新たな入力画像として一旦、記録領域に保存しておく。

この傾き補正により作成された画像データより、五線の情報を用いて規準位置を求める。五線の表す音程は、例えば、ト音記号とヘ音記号とで異なるため、まず、ト音記号およびヘ音記号を検出する。これは、少なくとも小節の最初に記載する記号であるため、その位置情報に基づいて、ＲＯＭに予め記憶されているト音記号およびヘ音記号とのパターンマッチングを行う。パターンマッチングする際に、パターンのサイズに関しては、例えば五線譜の間隔から、デフォルトのサイズを決めるようにする。

ステップＳ３０４において、上記基準位置の情報およびその位置の記号からの音程情報をもとに、楽譜の画像から各小節毎に、音程、音の長さ、音の組み合わせ（和音）、位置情報を抽出し、その抽出結果をコード化してＲＡＭ上の記憶エリアに記憶する。また、演奏用の補助記号、例えば、「八分音符＝１００」や「フォルテシモ」や「クレッシェンド」についてもＲＯＭに予め記憶されているデータとパターンマッチングし、その結果をコード化してＲＡＭ上の記憶エリアに記憶する。また、五線譜間隔、音符の玉の部分のサイズなどから原稿の楽譜サイズを検出して、その楽譜サイズを補助記号のレイアウト時のパラメータとして用いるようにしても良い。

ステップＳ３０５において、読み取られた原稿の画像から余白領域を検出する。検出された余白領域とＳ３０３において傾き補正された五線領域とから、補助記号をレイアウト可能な領域と、補助記号のレイアウトを禁止する禁止領域とを定める。図７に示すように、例えば、禁止領域とは五線領域であって、レイアウト可能な領域とは五線領域の上部の余白領域である。レイアウト可能な領域と禁止領域とを定める上で、微小な凹凸情報は、付加する補助記号のレイアウトには適さないため、所定のサイズのブロック単位で各領域を定めても良い。ステップＳ３０６において、ステップＳ３０１で指定された編集内容に従って、ステップＳ３０４においてコード化された楽譜情報を変換する。例えば、図４に示す指使いの補助記号４０２が選択されている場合には、ステップＳ３０４で検出された音符データは、演奏時に用いる指に割り振られた番号に変換される。図８に示すように指に番号が割り振られている場合に、ユーザは、その番号の割り振られた指で鍵盤を叩くことにより演奏することができる。

ステップＳ３０７において、ステップＳ３０５で定められた領域情報に従って、ステップＳ３０６で変換されたデータがＳ３０３で生成された新たな入力画像上にレイアウト処理される。この場合に、余白領域から、変換されたデータの大きさを最適化する。ここで、変換されたデータが小節ごとに異なるサイズで付加されると視覚的に違和感を与えるので、例えば、共通な種類の補助記号のレイアウト可能なサイズの内、最も大きなサイズで補助記号のレイアウトを行うようにしても良い。また、ユーザの注意を引きやすくするために、補助記号を新たな入力画像上の色とは別の色にしても良い。補助記号が指使いの場合には、音符に対応付けられた数字（補助記号）を余白領域に挿入する。その場合に、音符と位置を対応させて数字をレイアウトする。例えば、その場合に、音符の旗と上下反対側の五線譜欄外の余白領域にレイアウトする。また、その数字のフォントサイズは、音符から判断して決めるようにして、原稿の楽譜に補助情報を付加した後で読みやすくするようにしても良い。例えば、音符の１．５倍のフォントで数字を挿入することをデフォルトとしておいても良い。更には、そのデフォルトのフォントを、レイアウト領域の大きさ等を考慮して調整するようにしても良い。ステップＳ３０８において、Ｓ３０７において補助記号がレイアウト処理された画像をプリントアウトする。

［第２の実施例］
本実施例においては、ステップＳ３０１において、ピアノ演奏用のコード（補助記号４０３）挿入編集が指定された場合を説明する。以下、図３に示す処理において、第１の実施例と異なる部分についてのみ説明する。

本例の場合に、ステップＳ３０６において、ステップＳ３０４で検出された楽譜データをコード名に変換する。ステップＳ３０６において、まず、楽譜におけるドの音階は「ｃ」に、ミの音階は「ｅ」、ソの音階は「ｇ」に変換される。ここで、例えば、第１小節が順に、ｃ、ｅ、ｃ、ｇから構成されるとすると、これは、基音をｃとする和音と表している。その場合には、予めＲＯＭ上に格納された図９に示すテーブルのようなコード名への変換ルールを順次、照合していく。上述の例においては、図９に示すように、コード名「Ｃ」が補助記号として決定される。

ステップＳ３０７において、補助記号としてのコード名を、各小節の先頭付近にレイアウトする。コード名は、図９に示すように少数のアルファベットで表現されるため、レイアウトに必要な領域サイズが可変長となる。このため、小節先頭部分に他の楽譜情報（補助記号）がある場合に、次小節までにレイアウト可能な余白領域があるか否かを判定する。ここで、余白領域があると判定されれば、その位置にコード名をレイアウトし、ないと判定されれば、上下方向に移動もしくはサイズを小さくしてコード名をレイアウトする。

図１０は、本実施例における補助記号のレイアウト処理の手順を示すフローチャートである。まず、ステップＳ１００１において、デフォルトで設定されたサイズ又は五線の間隔から算出したコード名のサイズにより、小節先頭座標へのレイアウトを試みる。次に、ステップＳ１００２において、Ｓ１００１におけるレイアウト領域とレイアウト禁止領域とを照合する。ステップＳ１００３において、その照合の結果、重ならずにレイアウト可能であるか否かを判定する。ここで、レイアウト可能であると判定された場合に、ステップＳ１００４に進む。ステップＳ１００４において、次のレイアウト座標を決定して次の小節のレイアウトを行い、最終小節まで同様の処理を繰り返す。一方、レイアウト可能でないと判定された場合に、ステップＳ１００５に進む。

ステップＳ１００５において、コード名を小節進行方向（Ｘ方向とする）に所定の値のみシフトさせ、補助記号のレイアウトを試みる。この値は、予め設定されていても良い。ステップＳ１００６、Ｓ１００７において、シフトした位置でのレイアウトが可能か否か判定する。ステップＳ１００６、Ｓ１００７は、ステップＳ１００２、Ｓ１００３の処理とそれぞれ同じである。ここで、レイアウト可能であると判定された場合に、ステップＳ１００８に進み、Ｓ１００４と同様の処理を行う。一方、レイアウト可能でないと判定された場合に、ステップＳ１００９に進む。

ステップＳ１００９において、次の小節までの余白領域があるか否かを判定し、もし、あるのであれば、ステップＳ１０１０に進む。ステップＳ１０１０においては、レイアウト可能領域に到達するまで、更に、順次Ｘ方向に所定の値のみシフトさせていき、レイアウト可能領域に到達すれば、次のレイアウト座標を決定して次の小節のレイアウトを行い、最終小節まで同様の処理を繰り返す。ここで、次の小節までの余白領域がなくなり、レイアウト可能領域に到達しなかった場合には、Ｓ１０１０からＳ１０１１に進む。

ステップＳ１００９において、次の小節までの余白領域がないと判定された場合に、ステップＳ１０１１に進む。ステップＳ１０１１において、五線の上下方向にレイアウト可能なエリアがあるか否か検索する。ステップＳ１０１２、Ｓ１０１３において、シフトした位置でのレイアウトが可能か否か判定する。ステップＳ１０１２、Ｓ１０１３は、ステップＳ１００２、Ｓ１００３の処理とそれぞれ同じである。ここで、レイアウト可能であると判定された場合に、ステップＳ１０１４に進み、Ｓ１００４と同様の処理を行う。一方、レイアウト可能でないと判定された場合に、ステップＳ１０１５に進む。ステップＳ１０１５において、コード名のサイズを変更する。ステップＳ１０１６において、変更されたコードでレイアウト可能か否かを判定する。ここで、レイアウト可能であれば、ステップＳ１０１７に進み、Ｓ１００４と同様の処理を行う。一方、変更されたコードでもレイアウト可能なエリアがない場合には、コード名を補助記号として挿入できない旨をエラー表示するなどのエラー処理を行う。

［第３の実施例］
本実施例においては、ステップＳ３０１において、ピアノ演奏用の鍵盤アイコン挿入編集（補助記号４０４）が指定された場合を説明する。以下、図３に示す処理において、第１の実施例と異なる部分についてのみ説明する。

本例の場合に、ステップＳ３０６において、ステップＳ３０４で検出された楽譜データをピアノ演奏用のアイコンデータに変換する。第１小節は、順に、ｃ、ｅ、ｃ、ｇと構成されているので、まず、それに対応する鍵盤に印をつけたアイコンデータを作成する。この場合、使用する鍵盤に印をつけることだけでなく、使用する鍵盤の順序を示す数字を用いても良い。ステップＳ３０７において、補助記号としてのアイコンを挿入できる余白領域を解析して、レイアウト処理する。この際に、追加したアイコン上の使用する鍵盤を示すマークを少なくとも本アイコンと別の色で印刷するようにして注意を引きやすくしても良い。補助記号としてのアイコンを挿入できる余白領域を解析する方法として、図１０に示す方法を用いても良い。

［第４の実施例］
本実施例においては、ステップＳ３０１において、ピアノ演奏用のキッズモード用簡易アイコン挿入編集（補助記号４０５）が指定された場合を説明する。以下、図３に示す処理において、第１の実施例と異なる部分についてのみ説明する。

本例の場合に、ステップＳ３０６において、ステップＳ３０４で検出された楽譜データをピアノ演奏用のキッズモード用簡易アイコンデータに変換する。第１小節は、順に、ｃ、ｅ、ｃ、ｇと構成されているので、それに対応するマーク（例えば、「りんご」「バナナ」「りんご」「みかん」）のアイコンデータを作成する。ステップＳ３０７において、補助記号としてのアイコンを挿入できる余白領域を解析して、レイアウト処理する。この際に、追加したアイコンをカラー印刷して分かりやすくしたり、色と音程の相関関係により、直感的に理解し易い絵柄、色を選ぶようにしても良い。

［第５の実施例］
ステップＳ３０１において、ギター演奏用のコード挿入編集（補助記号４０７）が指定された場合、ステップＳ３０６において、ステップＳ３０４で検出された楽譜データをコード名に変換する。以降の処理は、第２の実施例における説明と同様である。

［第６の実施例］
ステップＳ３０１において、ギター演奏用のフレッドアイコン挿入編集（補助記号４０８）が指定された場合、ステップＳ３０６において、ステップＳ３０４で検出された楽譜データをギター演奏用のアイコンデータに変換する。第１小節は、順に、ｃ、ｅ、ｃ、ｇと構成されているため、それに対応するフレッドに印をつけたアイコンデータを作成する。この場合、使用するフレッドに印をつけることだけでなく、使用するフレッドの順序を示す数字を用いても良い。以降の処理は、第３の実施例における説明と同様である。

［第７の実施例］
ステップＳ３０１において、かな読み挿入編集（図４にタブシートとして図示）が指定された場合、ステップＳ３０６において、ステップＳ３０４で検出された楽譜データをかな読み表示用のデータに変換する。第１小節は、順に、ｃ、ｅ、ｃ、ｇと構成されているため、それに対応する「ド、ミ、ド、ソ」を得る。以降の処理は、第１の実施例における説明と同様である。

以上の説明において、ステップＳ３０４の処理で、付加する補助記号と原稿に記入されている記号とが重複する場合に、原稿に記入されている元の記号を削除するようにしても良い。例えば、演奏用のコードＧなどが原稿に記入されている場合に、演奏用のコードと演奏用のアイコンを併記するだけではなく、重複する記号を削除しても良い。また、原稿における記号は使用せずに、補助記号とコードをセットで再レイアウトするようにしても良い。

なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。つまり、解析処理の一部または全部をＰＣ上で行い、補正処理のみを装置上に記憶させる補正システムにしても良い。このようにすることにより、解析に必要な処理を装置外におくことが出来るため、コストを低減でき、処理速度を向上させることができる。

また、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体をシステムあるいは装置に供給し、コンピュータ（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行するようにしても良い。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述の実施例の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。

記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。更に、書き込まれた後に、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うようにしても良い。そのことにより、前述した実施例の機能が実現される。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

Claims (6)

1. 演奏記号が配置され余白を含む楽譜に対応する画像を入力する入力手段と、
   前記入力手段により入力された前記画像から、前記楽譜に配置されている前記演奏記号を抽出する抽出手段と、
   楽譜に従って演奏するための補助記号を演奏記号に対応させて特定するための情報に基づき、前記抽出手段により抽出された前記演奏記号に対応する前記補助記号を特定する特定手段と、
   前記入力手段により入力された前記画像を解析することにより、前記特定手段により特定された前記補助記号が前記楽譜に配置されるときの配置領域を、当該楽譜の前記余白における当該楽譜上の前記演奏記号に対応する領域に当該補助記号が配置されるように決定する決定手段と、
   前記入力手段により入力された前記画像に対応する前記楽譜のレイアウトを維持するように前記演奏記号が配置され、前記特定手段により特定された前記補助記号が前記決定手段により決定された配置領域に新たに配置された楽譜を作成する作成手段と、
   を有することを特徴とする画像処理装置。
2. 前記画像は、読取装置が楽譜を含む原稿を読み取ることで得られた読取画像である、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記入力手段により入力された前記画像に含まれる楽譜の五線譜に基づき前記補助記号が配置される配置領域を決定する、ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記特定手段は、ユーザによる指示に応じて、楽譜に配置されている演奏記号に対応する複数のパターンの前記補助記号から、前記抽出手段により抽出された前記演奏記号に対応する前記補助記号を特定する、ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 演奏記号が配置され余白を含む楽譜に対応する画像を入力する入力工程と、
   前記入力工程において入力された前記画像から、前記楽譜に配置されている前記演奏記号を抽出する抽出工程と、
   楽譜に従って演奏するための補助記号を演奏記号に対応させて特定するための情報に基づき、前記抽出工程において抽出された前記演奏記号に対応する前記補助記号を特定する特定工程と、
   前記入力工程において入力された前記画像を解析することにより、前記特定工程において特定された前記補助記号が前記楽譜に配置されるときの配置領域を、当該楽譜の前記余白における当該楽譜上の前記演奏記号に対応する領域に当該補助記号が配置されるように決定する決定工程と、
   前記入力工程において入力された前記画像に対応する前記楽譜のレイアウトを維持するように前記演奏記号が配置され、前記特定工程において特定された前記補助記号が前記決定工程において決定された配置領域に新たに配置された楽譜を作成する作成工程と、
   を有することを特徴とする画像処理方法。
6. コンピュータに請求項５に記載の画像処理方法の各工程を実行させるためのプログラム。

Images