DTM

【AIきりたん】とりあえず歌わせるための使い方備忘録【NEUTRINO】

【AIきりたん】とりあえず歌わせるための使い方備忘録【NEUTRINO】

※2020.03.09更新 : macOS版情報

IN-TOSH(@intosh_redarrow)です。

巷は土・日・月(祝)の3連休。自分もそうだったから、色々やりたいこともありつつ割と時間があった。飲み会にも行った。

そんな中、日付が土曜日(2020年2月22日)になったタイミングで、NEUTRINOという歌声シンセサイザーが公開された。なんとフリーウェアである。

日曜日に体験して、月曜日にこの文章を書いている次第。使い方など、まだ情報が有り触れているとは言えないくらいなので、多少調べながら使った。

自分の中で、恒常的に触れていくものでもないかな?という感じだったので、いざ今度使う時のために自分用備忘録を。あと自分語りを徒然と…

「AIシンガー」の個人的印象

自分語りなので、興味が無い人は読み飛ばして頂きたい。次の段落(使い方)へのスクロールはこちら

女声の歌を自分で作れるということ

個人的な話だが、音声合成技術によって歌声を生成するソフトにはずっと憧れを持っていた。確か中学生くらいからで、「VOCALOID」の存在を知ったタイミングでもある。

自身が男なので、「女声の歌を自分で作れる」という部分に惹かれたのだと思う。単純な話で、隣の芝生は青い。とはいえ機械的な声は好きではなかったし、勿論キャラクターが好きとかの入口でもなかった。

歌声合成ソフトのシェアウェア(実質フリーソフト)に、「UTAU」というものがあるのを知ったのも中学生の頃だった。ちょうど暇な時期だったので、何となく遊んでいたのを覚えている。知識不足で調声もほぼ行わず、「使い倒す」とまではいかなかった。



自然な歌が好きな自分が受けた衝撃

このジャンルで、明確に3回衝撃を受けた記憶がある。

1回目

「女声を再現できる」興味はありつつも「機械的な歌声が嫌い」というややこしい少年時代だったが、「UTAU」で遊んでいた理由は2つある。1つ目は学生でもフリーで使えること、そしてもう1つが「連続音」による衝撃を受けたことだ。

年代がバレそうだが、ある動画を見て本当に驚いた記憶がある。リンクを貼っておくが、「ここまで出来るのか!」という感想を抱いた。連続音についての説明は省略したい。動画説明文にも多少書いてある。

【UTAUで】けんか別れ【連続音音源を検証】

暇だったとはいえ、当時の自分はこのような調声を出来る技量は無かった。今も無い。

2回目

「UTAU」は「VOCALOID」の本気の模倣、という認識だったが、何故か数年はボカロに触れなかった。

もちろんソフトは有料だが、世間に溢れるVOCALOID楽曲にすぐに食いつくことも無かった。憧れていたのはあくまでもシステムの方であった。

ほぼ同じソフトで遊んでおきながら、世間同様「VOCALOID = 初音ミク」のイメージが自分にも強く、加えて「初音ミク = 機械的な声」という固定観念があったんだと思う。当然だが触れておくと、差別的な視点は全くない。



そんな自分が次に受けた衝撃が「Megpoid(GUMI)」だった。

【GUMI】放課後ストライド【オリジナル】

友人の家で偶然流れていた楽曲である。と言っても、その友人がVOCALOID楽曲好きだったからではあるが。

何となく聞き流していたこの曲が「VOCALOID」だと分かった瞬間の衝撃。誰の何という歌か、確かすぐに質問した。初音ミク以外のVOCALOID楽曲を初めて聞いたと思う。

当時自分の想像していた「VOCALOID」よりも自然な歌だった、という記憶があるが、曲が好みだったから、というのもあるかもしれない。

ちなみに、VOCALOID楽曲で好みの楽曲でも、いわゆる「歌い手」が歌う、人間の声のものの方が好きなことは多かった。やっぱり人の歌が一番だとは思っていたし、これは今もそう。

3回目

今回である。時系列的には大分空くが、自分の中ではここでようやくAIシンガーが出てくる。

確かAIシンガーを初めて認識したのはマイクロソフトのAI女子高生「りんな」がMusic Videoを出した時だった気がする。2018年の7月なので、もう1年半以上前になる。

AIりんな / りんなだよ (Music Video)

歌唱を聞いてどうこうというよりは、「巷のAIブームが進出してきたな」と確か思った。というか、その時は曲を聞いた記憶がない。今聞いたら歌声めっちゃ良くてビビった。ちなみにAIりんな自体は割と当初からLINEで存在は知っていた。

名工大と「テクノスピーチ」という会社で開発したというシステムの動画はちゃんと見た。

AI歌声合成システム Demo

印象としては、「実用はもう少しかかるかな?」「製品化したら見てみよう」くらいだった。どのみち、一般ユーザーの手に渡るのはまだ先かな、と思っていた。

そこから約1年が経ち、(上記Demoと直接関係は無いが)今回の「NEUTRINO」が公開。個人的にはこのジャンルを正直忘れかけていたところだったので、ソフトウェア化したことにも驚いた。

ただ、何より衝撃だったのは「フリー」で「簡単に」「そこそこ歌わせられる」ことである。これが3つ目の衝撃。既に結構流行ってるのも納得。

ちなみにSinsyは完全ノータッチだった。NEUTRINOが出てから知った…



使い方

公式ページ内にも使い方のブログがあるので、ご参照を。リンクも貼る。

ダウンロード・インストール(順次更新)

(参考:NEUTRINOへようこそ)

公式のトップページから、Vector経由でダウンロードできる。対応するのはWindowsのみで、64bit版のOSで動作する。2020.03.08追記 : macOS版も公開。後述。

2020年2月24日現在、Version.0.101が最新バージョンだが、上記トップページでのVectorを経由するダウンロードへの反映は恐らく2月26日以降になる(公式ブログ:Version.0.101アップデート)。

2020.02.27 追記 : 恐らく2月26日の夜、最新バージョンVersion.0.102が公開。同様に、Vectorからのダウンロードに反映されるのは3月4日以降になると思われる(公式ブログ:Version.0.102アップデート)。

※補足 : 公式Twitterより、テスト環境など情報有。Windowsユーザーには関係ない。詳しくは下記ツイートを参照。

2020.03.07 追記 : 3月7日に日付が変わったところで、最新バージョンVersion.0.103が公開。Vectorからのダウンロードへの反映は不明。3月11日以降になると思われる(公式ブログ:Version.0.103アップデート)。

それまでは上記アップデートのページから直接ダウンロードを。更新内容は以下の通り。

  • 一部音声が無声化する問題を緩和
  • 進捗状況を表示

※補足 : 公式Twitterより、ノイズ対処について情報有。下記ツイートを参照。

2020.03.08 追記 : 3月8日に日付が変わったところで、待望のmacOS版がリリース。最新版Version.0.103対応済みなので、上記アップデートページにリンク有り。以降の進め方は以下のものと同様のはず。

2020.03.08 03:00 更に追記 : macOS版で不具合有。一旦公開停止とのこと。

2020.03.09 追記 : macOS版再公開(公式ブログ:Version.0.103アップデート)。動作検証が不足している為、不具合の報告があると助かるとのこと。

 

Vectorへの反映前に最新バージョンを使いたいなどの時は、本体(トップページなどからダウンロードしたファイル)と、アップデートのページからダウンロードしたファイル両方を使えばいい。両方zipフォルダを解凍し、本体で使うのはアップデートされた方。

トップページから(Vector経由)の方の「model」フォルダの中身を、アップデートの方(本体)の「model」フォルダに移せば完了。移す前の「model」フォルダは恐らく空であるはず。

「Run.bat」というバッチファイルをダブルクリックなどで実行して、「output」フォルダに「sample1_syn.wav」という音声ファイルが作られれば正常な動作。他にも何個かファイルは生成されると思う。



楽譜(.musicxmlファイル)をつくる

歌わせたい内容の楽譜(メロディ・歌詞)をつくる。フリーソフトのMuseScoreでOK。というか公式ページ(NEUTRINOへようこそ)でも「MuseScoreを推奨」とあるしこれが良いのかも。

(参考:Musescoreの使い方)

MuseScoreの使い方には触れないが、「ファイル→エクスポート」で非圧縮MusicXMLファイル形式(○△□.musicxml)で保存。ファイル名は余計なエラーを招かないよう、英数字が吉。自分はアンダーバーとかの記号くらい使っちゃいますが。

つくったMusicXMLファイルを、「score」フォルダ内の「musicxml」フォルダに入れる。恐らく、既に「sample○.musicxml」ファイルがsample3まで入っている。そこでOK。

設定編集

「Run.bat」をメモ帳などのテキストエディタで開く。右クリック→編集とかで開ける。

6行目くらいに「set BASENAME=●●●」という行があるので、「=」の次の部分を「歌わせたいファイル名」に変えて保存。

確か最初は「sample1」という文字列が入っていたはず。そこに、さっき「score」フォルダに入れた「○△□.musicxml」ファイルの「○△□」の部分をコピペとかで入れれば完了。

ちなみに、設定部分は4つのブロックに分かれている。上記で変更したのは「: Project settings」部分。

「: NEUTRINO」部分の「ModelDir=KIRITAN」で、歌唱音源を「東北きりたん」に設定している。「KIRITAN」を「YOKO」に書き換えれば、音源を「謡子」に変更できるはず。

他にも使用するプロセッサ数やサフィックスの変更、ピッチシフトやフォルマントの調節が出来るようだが公式ページ(NEUTRINOへようこそ)を参照されたし。何言ってるか分からない人は恐らく必要ない。

実行

「Run.bat」をダブルクリックなどで実行。コマンドプロンプトの黒い画面のウインドウが出てきて、処理がしばらく続く。当然、楽曲が長いほど処理時間も長い。

ダブルクリックで実行した場合、ウインドウが勝手に閉じたら完了。「output」フォルダ内にwavファイルが生成されているはず。

あとはDAWに読み込むなり、煮るなり焼くなり。

スポンサーリンク

思ったこと色々 箇条書き

  • MuseScore数年ぶりにインストールしたけど、すごい見やすくなってた。いつの間に。
  • 他のソフト(Cubase・Finale)使うタイプで.xmlで入力したかったので「Run.bat」の「SUFFIX」部分をxmlにして実行した。けどエラー吐かれて面倒だったので戻して、XMLをMuseScoreで開いて.musicxmlでエクスポートした。本当は.xmlでも出来るはず。
  • 個人的にテンポ入れ忘れが多い。気を付ける。
  • ブレス記号が結構重要。MuseScoreの場合、ブレス直前の音符を選択して、左のパレット「ブレスと休止」から左上のブレス記号をクリック。パレットが出ていなかったら、ツールバー「表示→パレット」にチェック、「ブレスと休止」が出ていなかったらパレット上部「パレットの追加」から追加する。
  • 休符+ブレス記号」は無効扱い(公式Twitterより)。



  • 他にも「特殊記号」とか、XMLデータ作成におけるポイントはある。何もしなくてもそこそこ歌ってくれるけど一応知っておくべき(参考:MusicXMLについて)。
  • 出力されたwavファイルは普通にボーカルやコーラスのデータとして、VariAudioとか各種プラグインとかで処理すればいいと思う。
  • VariAudioでピッチ弄り始めて思ったけど、これピッチ修正しない方が味があって良いかも。タイミング修正は必要に応じて。
  • めっちゃ簡単でビックリした。

おしまい

せっかくなので自分の中で熱いうちに記事を出しておいた。

画像入れたり参考音源載せたりして見やすくしよう。また時間あるときに。

過去の自分語りを長々としておいて変な話だが、ボカロやUTAUの界隈に傾倒していたという程ではないので悪しからず。にわかです(保険かけまくり)。