BIGYUKI featuring Neutone （Craft Alive 2022）
取材・文：神保勇揮（FINDERS編集部）
リアルタイムの音色変換や音源分離などができる音楽制作用プラグインを開発
AI研究者にして音楽アーティスト、そして自身の会社であるQosmo（コズモ）社を率いる徳井直生氏が、最新のAI技術を用いた新しい「楽器」を開発することで、21世紀の新しい音楽表現、音楽ジャンルをアーティストとともに創出することを目的とした新会社「Neutone」を設立した。
もともとはQosmo社が深層学習を使ったリアルタイムDSP（デジタル音響処理）モデルを、DAW（デジタル・オーディオ・ワークステーション）上で利用でき、最新のAI技術を音楽制作プロセスに導入できるようにするプラグイン「Neutone Plugin」を開発、2022年5月から無償提供していたが、プロジェクトをさらに発展すべく同事業の会社化を図った。
徳井氏は会社設立にあたって「いわゆる生成AIの技術革新が話題を呼ぶなか、経済的なメリットや技術論が先行し、実際に文化の創出を担うアーティストやクリエイターの立場に立った視点が十分に反映されていないという現状があります。Neutone（およびQosmo）では、生成AI技術を利用しつつも、あくまでもアーティスト、つくり手を中心に置いた世界観を重視し、彼ら、彼女らの音楽的創造性の発露を、AI技術によってサポートすることを目指します。今回、こうしたビジョンを共有できるコミュニティの拡大、AIモデルの開発、プラグイン開発のスピードアップを図る意図で、新会社の設立に踏み切りました」とコメントしている。
Neutone Pluginはこれまでにリアルタイムの音色変換（例：声をバイオリンの音に変換）や音源分離（例：曲からドラムの音だけを抜き出す）といった数十のモデルが公開、共有され、公開からすでにのべ4万6000回以上利用されている。また既にMUTEK、Sónarといった世界的なフェスティバルにおいてもNeutoneを用いたライブパフォーマンスが発表されている。
また、海外を中心としたAI研究者、ソフトウェア開発者、ミュージシャンなどが参加するDiscordコミュニティも展開しており、1000人を超える参加者が積極的な議論を交わしているという。
出資も受け入れ、聞いたことのない音や新しい音楽ジャンルを生み出したい
徳井直生氏
FINDERSでは今年6月に徳井氏のインタビュー記事「人間がAIに「模倣」ではなく「創造」させるための「4つの指針」AI研究者とアーティストを両方経験して見える風景」を掲載しているが、今回新たにメールインタビューを実施した。その内容を以下に掲載する。
ーー 今回「Qosmo社の新事業」ではなく「新会社を設立する」という手法を採用したのは何故でしょうか？
徳井：まずシンプルにわかりやすくしたかったというのが大きいです。僕が音楽を中心にしつつも、書籍『創るためのAI 機械と創造性のはてしない物語』では幅広くAIと創造性について書いているように、QosmoはAIと創造性（ビジュアルやテキストも含めて）について、広く取り扱う会社です。
それに対して、Neutoneはオーディオのプラグインという、かなり特殊でニッチな領域に取り組むプロジェクトということになるかと思います。Neutoneの認知度が（特に海外で）上がるにつれて、この2つが混ざることで生じる混乱が無視できなくなってきたのが会社を分けた理由のひとつです。以前も、Neutoneで働きたいと思ってQosmoのページを見たエンジニアが、音楽とは関係ないプロジェクトのリストを見て驚いたりといったことが起きていました。
もうひとつは、Neutoneの開発スピードを上げる必要があると強く感じている点です。先日行われたNAMMショー（世界最大の音楽関連機材の見本市）で展示したり、バルセロナで行われたSónarに出演、講演したりした経験から、音楽とAIをめぐる世界が目まぐるしく動いていること、他の音楽AI関連企業のスピード感などを肌で感じました。
一方で、現時点でのNeutoneの優位性も感じているということもあり、今こそアクセルを踏む時期だと決意しました。スタートアップ的に外部からの出資を受けることを念頭に、チームの拡大、市場開拓などもを進めていきたいと思っています。
ーー 「AIを用いた音楽自動生成ツール」に関してはビッグテックからベンチャーまで開発競争が続いていますが、Neutoneプロジェクトはそれらとは全く異なる試みだと感じました。今回のプロジェクトの意図、目的はどのような部分にあるのでしょうか？
徳井：AI活用云々というよりは、単純にまだ聞いたことのない音、音楽を可能にする、新しい「楽器」を開発したいということが根本にあります。
どうしてもAIというと自動化ツールのようなイメージが強いと思いますが、NeutoneではAIを使って音楽制作に関わるプロセスの全体 or 一部を簡単にしたい、便利にしたいという気持ちは全くありません。
これまでにもPCM（音声などのアナログ信号をデジタルデータに変換する方式のひとつ）という考え方ができて、サンプリングという技法が生まれたり、FM合成の技術がYAMAHA DX7のような名機の開発につながったりする歴史がありました。
そうした、技術進化が新しい音色の提供を可能にしてきた歴史と同様に、AIという新しいテクノロジーを使って、アーティストが探索できる、新しい音色の世界、音色のパレットを提供したいと考えています（なのでAIと言うより、機械学習という言葉を使った方が、この辺の誤解はクリアになるのかもしれません）。
音楽制作の過程を「解決する（簡易化する・自動化する）」のではなく、より面白くしたい。会社のウェブサイトのタグラインである「We don't "solve" creativity. We ignite it.」にはそういった思いが込められています。
ーー Discordコミュニティの参加者は、どの地域のどのような人が多いのでしょうか？
徳井：今、1200人程度のコミュニティになっていますが、当初は9割がAI研究者、AIエンジニアでした。
ですが最近では徐々にオーディオ関連のエンジニアの方や、アーティストの参加も増えてきています。アーティストの内訳も、当初は実験的な電子音楽を作っている方が大半でしたが、徐々にジャンル的にも多様性が増しているように感じています。
テキストから音楽が生成できるAIが話題になったりする中で、AIに対してある種の危機感を持つアーティストが増えてくる一方、新しいツールとしてAIで何ができるのか、模索し始めた方も多いのではないでしょうか。
日本人の参加者はまだ50名に満たないぐらいでして、もっと多くの方に参加していただきたいと思っています。
ーー これまでNeutoneで公開されたモデルで、特に人気があるものは何で、誰がどのような活用をしているのでしょうか？
徳井：現在、Neutoneで扱っている主なAIモデルは、音色変換のモデルです。リアルタイムに入力された音を、学習した別の音に変換できます。例えば声をバイオリンの音に、あるいはドラムを人の声に変換することなどができます。
この中でも特に人気があるのは、コーラス系のモデルでしょうか。鼻歌やシンプルなシンセの音が、複雑なテクスチャを持った教会の讃美歌風に変換されます。
今後、こういったエフェクター系のAIモデルだけでなく、ワンショットやループなどの音声ファイルの合成、シンセサイザー、MIDI関連のモデルなども公開予定です。個人的には、AKAIのMPCで音楽制作を始めたということもあって、AIを使った今までにないサンプリングのあり方に興味があります。その辺も今後深掘りしていく予定ですので、ぜひ楽しみにしていてください。
ーー プレスリリースには「年度内には個々のアーティスト向けにカスタマイズしたAIモデルの学習をサポートする新しいサービスの拡充、有料プランの提供などを予定しています」と書かれていました。その他にも読者に訴えたいこと、今後の展開予告などがありましたら教えてください。
徳井：TR-808やMPCのような楽器、Max/MSPやAbletonのような音楽制作ソフトウェアが新しい音楽ジャンル（ヒップホップ、エレクトロニカなどなど）を生み出したように、未知の音楽ジャンルの誕生に私たちが開発するテクノロジーで貢献する、というのが大きなビジョンです。
とはいえ楽器＝機械の新しい使い方を見出したり、レコードを指で前後に動かすことでスクラッチという技法を生み出したりしたのは、TR-808やSL-1200の開発者ではなく、アーティストたちです。ですので、この記事を読んでいるアーティストやクリエイターの皆さんの力が必要です。皆さんと密に意見交換をしつつ、私たちが思いもしなかったようなツールの使い方をするのを助けることで、この大きな目標に少しでも近づきたいです。
興味を持ってくださった方は、私たちのTwitterアカウントをフォローし、Discordコミュニティに参加いただけると嬉しいです。
また、8/22には南青山BAROOMにて、BIGYUKIさんとのライブも予定しています。Neutone/Qosmoチームとのコラボレーションから生まれたJohn Conner Projectのライブです。もちろん、Neutoneを使った演出も予定していますので、ぜひ足をお運びください!!
