Princeton UndergradがGoogle Deep Dreamにヒントを得たDeepjazz A.I.を作成音楽メーカー

金ソン氏は、ディープジャズ（ディープラーニングミュージックジェネレータ）を開発するにつれて、4月の第1週末の早朝にカフェインとコンピューターのコーディングに費やした。 20歳のプリンストンのコンピュータサイエンスの2年生は、大学で4月1日から3日に開催された彼の最初のハッカソン、HackPrincetonの間にディープジャズを完了するのに36時間しかありませんでした。コーディングのマラソンを終えた後、彼はdeepjazz用のWebサイトを作成し、GitHubにソースコードを投稿しました。

しかし、キムが驚いたことに、この番組は放映された。 Deepjazzは着実にPythonとGitHubのトレンドになっています - GitHub全体のトップ7のプログラムと同じくらい高い到達。それはHackerNewsのフロントページにも掲載されていて、まだ活発な議論を生み出しています。

「人気という点では、私のファーストサイドプロジェクトがこの爆発的なものになるとは思っていませんでした」とKimは言います。 逆です。 「とてもおかしくて楽しかったです。」

deepjazz - Keras&Theanoを使ったディープラーニングによるジャズの生成http://t.co/G5wscglzO7 #python

- Python Trending（@pythontrending）2016年4月11日

食事、眠り、そして他の授業の完了までの間に、Kimはdeepjazzのソースコードを開発するのに約12時間かかったと推論しました。しかし、彼はHackPrincetonよりずっと前に人工知能音楽ジェネレータのアイデアを思いつきました。シカゴ大学での夏のインターンシップ期間中、彼はグーグルのDeep Dream、画像内のパターンを解釈し、それを既知の他のオブジェクトに変換するフォトジェネレータに出会いました。結果は彼らが野生の夢を生み出したように見える奇妙なイメージです。

「芸術を解釈するためにディープラーニングを使うというアイデアは私にとって本当に興味深いものでした」とKimは言います。 「あなたが既存のアートワークから新しいアート作品を作成しているので、グーグルが提示し発表したこの種のDeep Dreamフレームワークは本当に魅力的でした。」

Deepjazzは、機械学習を使用してジャズ音楽を生成します。 SoundCloudプロファイルが述べているように、「ジャズを作るために構築された」。音楽理論の授業を受けていないが7年間クラリネットを演奏してきたキムは、その異例のメロディーのためにジャズ音楽を選んだ。 A.I.システムの音楽は、「ちょっと変わった出力があるかもしれないので、ジャズはその場で音楽を生成するという考えに特に適していたと思う」と彼は言う。

彼は、友人のEvan Chowが開発したジャズミュージック用に最適化された既存のミュージックジェネレータをJazzMLと呼び、関連するデータを取得するコードを使用しながら、2つのディープラーニングライブラリKerasとTheanoと互換性のあるバイナリマトリックスに変換しました。

Deepjazzのフレームワーク自体は、2層のLSTMであり、これは一種の人工ニューラルネットワークアーキテクチャです。最初のベースラインシードシーケンスの音符を学習した後（KimはPat Methenyの「And Then I Knew」の一部を使用）、音符に確率を割り当て、それらの確率に基づいて次の音符を生成します。たとえば、プログラムにスケールA、B、Cを入力した場合、deepjazzが次に生成する音はDになる可能性が高いとKimは説明します。

歴史的に、批評家たちは人工知能音楽ジェネレータはロボットで無菌に聞こえるような歌を作り出すことに悩まされていると言いました - 人間によって構成された音楽で聞かれる色を欠いています。 1993年に音楽のリズムを再現するコンピューターで論文を書いた元MITの学生、Jeffrey Bilmesは次のように述べています。 逆 十一月に：

「音楽を演奏することを学び、ジャズを演奏することを学んでいるとき、それが人間的なものになるのは音楽について何であるかを直感的に理解するための有用性があります」とBilmesは言いました。 「人間は直感的な存在であり、人間はどうやって人間のことができるかを説明できないことがよくあります。当時、私はこれらのことを定義する際に聖なる宣誓に違反しているのではないかと思いました。

金氏がdeepjazzの研究をしていたとき、彼はロボットを鳴らす音楽を生成する多くのシステムに出くわしました。

「音楽と芸術は私たちが人間として深く考えているものです」とKimは言います。キムは、ジェネレーターがオリジナルのトラックに似ていないようにプログラムすることで、より人間的に聞こえるような曲を作成できると示唆しています。

他の開発者がKimに連絡を取り、より多くの人々がそれと対話できるようにdeepjazzを拡張することに興味を持っています。金氏は、ある日、deepjazzがミュージシャンのリフのためのバックトラックを人工的に生み出すことができる即興のパートナーへと進化するのを見ることができます。さらに将来的には、お気に入りのトラックに似た新しいサウンドの音楽を作成したり、ミュージシャンのために新しいコードやプログレッションを提案したりすることができるアプリケーションを目にすることができます。

金氏は、まだディープラーニングのエキスパートではないと認めていますが、ディープジャズの開発やインターンシップやプリンストンでのトレーニングの経験から、この分野に関する貴重な洞察が得られました。

A.I.もはやSFの夢ではありません。それは非常に現実的なものであり、非常に速いペースで近づいているものです」とKimは言います。 「まだ上級生ではないこの大学生が、ハッカソンの範囲内で何かを作れることができたことを願って、コンピュータサイエンスに慣れるのに苦労している他の学生に励ましています。」