DCON2024ポスターセッションに参加
DCON2024（全国高等専門学校ディープラーニングコンテスト）のポスターセッションに参加し、演奏音声解析による自動譜めくりシステム譜めくり君が、渋谷ヒカリエ本選会場で発表を行いました。
このプロジェクトは、3歳からピアノを続けてきた私自身の長年の悩みを技術で解決したいという想いからスタートしました。
譜めくり君について
譜めくり君のチームは、制御情報工学科2年（当時）と専攻科1年（当時）のメンバー3名で構成されました。
プロジェクトの原点：演奏中の「めくり難さ」
デジタル楽譜が普及した現在でも、演奏中にタブレットの画面をスワイプして譜めくりを行うのは容易ではありません 。特にピアノ演奏などでは、両手が塞がっているため、譜めくりは大きなストレスになります。
私自身、長年のピアノ演奏会での経験から、このめくり難さが、演奏の質を下げ、集中力を途切れさせる最大の要因の一つだと感じていました。既存の自動譜めくりシステムには、ペダル操作の必要性や、顔認識の誤認識といった欠点があります 。
そこで私たちは、この問題を解決するため、演奏の「音」そのものを解析して譜めくりを自動で行うシステム譜めくり君のアイデアを構想しました。
技術的な挑戦：MIDIライクトークンの生成
このシステムのコア技術は、演奏の音声をディープラーニングで解析し、譜めくりのタイミングを正確に見極める点にあります。
- 音声の取得と変換: マイクで取得した演奏の音声を、まずスペクトログラムに変換します 。
- 擬似MIDIデータの生成: その後、ディープラーニング技術を用いて、その演奏内容を擬似的なMIDIデータであるMIDIライクトークンとして生成します 。
- タイミングの特定: このMIDIライクトークンを、デジタル楽譜のMIDIファイルと照合することで、楽譜をめくる最適なタイミングを見極めます 。
既存の方式が持つ「ペダルの購入が必要」や「顔が画角に収まらない」といった欠点を根本から解消できる、演奏者の状況を選ばない革新的なアプローチです 。
DCON2024での発表と今後の展望
DCON2024のポスターセッションでは、この譜めくり君の仕組みとビジネスモデル（B to Bでデジタル楽譜販売企業へ機能提供）について発表しました 。特に、私自身の演奏経験という明確な課題意識から生まれたアイデアであることと、MIDIライクトークンという拡張性の高いデータ形式を用いる点が注目されました 。
今後の目標は、MIDI形式の楽譜だけでなく、PDFや画像形式の楽譜にも対応できるように技術を構築することです 。
私たちは、「譜めくり君」の技術が、多くの人が多様な方法で芸術を楽しむ手段となり、芸術の世界を拡張すると信じて、これからも開発を続けていく所存です 。
DCON2024について
「第５回全国高等専門学校ディープラーニングコンテスト2024（DCON2024）」は、高等専門学校の学生が日頃培ったものづくりの技術とディープラーニングを活用した作品を制作し、生み出される〈事業性〉を企業評価額で競うコンテストです。
参考