:::
林怡君(陳佩芸 攝)
特別企畫 Feature 給麻瓜的AI使用範例╱音樂篇

林怡君:AI是完成音樂上華麗夢想的「好助手」!

無論世界各地,利用AI來輔助音樂會,早已不是新鮮事。然而放眼亞洲乃至全球,唯一專門由真人演出人工智慧作品及與AI共同協演的,就是「清華AI樂團」了。從2019年成立以來,他們已經多次與國際頂尖音樂人工智慧實驗室合作演出。其中包括與「虛擬樂手」同台表演、在舞台上展現出「自動跟譜」系統、由學生選擇「雅婷」所產生的片段旋律一起作曲發表等等。最特別的,是德國在發表AI貝多芬的第十號交響曲不久後,就將它引進台灣演出。有趣的是,這個樂團完全不是音樂系學生組成,而是來自清華大學資工、電機、外文、中文及科管院學士班的音樂高手。即使是學校樂團也不容小覷,而它的幕後推手,就是長笛家斜槓清華AI樂團總監的林怡君。

「人工智慧的浪潮,從1956年開始,到現在已經是第4波崛起了!」她笑著說,如果以演奏者的身分來說,配鋼琴伴奏以小時計價,花一小段時間就練完了;但若跟工程師一起工作,就必須花很多時間協助訓練和測試……不過話說回來,「如果做好了,我要讓AI重複伴奏一百次都可以!」

9. 台灣聲響藝術節中,人工智慧音樂作品midi檔發表,於台灣聲響實驗室。(楊上賢 攝 林怡君 提供)

媒合AI實驗室與舞台效果,力求「人機協同」的演出

最初籌辦音樂會時,她認為雖然在舞台上盡力表現音樂,但畢竟畫面上較單調,因此在背景中顯示與音樂作品相符的攝影、多媒體作品,或在演出中加上故事、音樂導聆等搭配,讓音樂會與觀眾產生更多共鳴。同時,她兼任的清華大學在2009年開始招收不分系的音樂組,每屆4到6人,委託她負責。最初由於人數不多,她於是想辦法安排曲目,並且號召校內好手一起參加。隨著2016年清大跟新竹教育大學合併,入學與課程安排也有幾次的更動,因此樂團根據小型室內樂、大型樂團的形式演出,也彈性變動為「清華樂集」或「清華愛樂管弦樂團」。到了2019年,更因為演奏人工智慧的作品,多了一個「清華AI樂團」的名稱。 

會讓樂團與AI合作的緣由,也是因為正在清大念博士班的林怡君,在2018年去上了「台灣人工智慧學校」(註)的課程。歷經訓練,她不但理解演算法模型、原理,更了解了各種實驗室的最新研究。「這是我和實驗室溝通的基礎。」林怡君說:「我得去拜訪這些實驗室,了解他們做了什麼樣的研究,虛心求教他們有什麼技術,思考什麼是能呈現的。」於是,她大膽地將自己的專業與人工智慧領域拉近,做AI與音樂的展演策劃。

例如她得知中研院資訊科學研究所的蘇黎老師專攻音樂資訊檢索,實驗室發展出演奏時能自動採譜及自動跟譜的人工智慧,便主動寫信尋求合作。林怡君解釋:「『跟譜系統』類似『語言辨識』,簡單來說就是工程師先行在電腦中輸入譜,並以鋼琴卷軸(piano roll)方式呈現,人工智慧在演出現場感應到照譜演奏的旋律就會顯示出圖像來。」長條狀表示長的音符,正方形表示短音符;高音放在上面的位置,低音則是下方。畫面中有一條紅色的線從上到下固定,畫面像卷軸一樣跟著跑,到達紅色的線表示正在發出的聲音。以音樂會背景投射出大型「樂譜」,讓觀眾能夠以更輕鬆簡單的方式來理解舞台上呈現的音樂作品。如此一來,實驗室中的研究成果,也能透過音樂會搬上舞台,將發表的論文實際演出或展示。

2021年,她得知貝多芬第十號交響曲以AI創作的方式問世,便著手聯絡設計團隊,並直接線上開會訪問團隊製作的細節。林怡君說明:「他們投給AI的資料一定包括貝多芬的9首交響曲、室內樂及各種器樂作品等等。對我來說,最特別的是他們甚至將貝多芬當時有可能聽到的其他作曲家作品,也一併給AI學習,這實在太有趣了!」2022年準備在台灣演出前,有人問她,如果貝多芬自己聽到的話會如何想?她自信地說:「貝多芬是一個很新潮的人,就我所知,他的第五號交響曲就是史上第一首用到短笛、低音管及長號的交響曲,而最有名的就是在第九號交響曲將合唱放在交響樂曲中。所以第十號交響樂曲,AI選擇的創意是將管風琴用進來。所以我認為他如果活在我們這個世代,是很有可能也利用人工智慧來創作的!」

不過,演奏管風琴並非所有場地都能達到,因此她特地徵詢團隊中的擔任編曲的作曲家Walter Werzowa是否能夠用電鋼琴表現這個音色,並且將排練時的檔案寄給了對方,在獲得同意後,他也熱心地拍了影片介紹這首作品,並在演出時播放。而實際上,AI所做的第十號交響曲,只有第三、第四樂章。林怡君同樣也確認了原因,一來是1988 年時,音樂學家貝瑞.庫珀(Barry Cooper)就曾經寫了第一、第二樂章;二來現代人習慣短影音,因此只有做成後兩個樂章。

專欄廣告圖片
音響控制與AI樂團合力演出,於蘆洲KHS表演廳。(楊上賢 攝 林怡君 提供)

音樂AI天堂路:實際練習及演出的痛點

林怡君歸納,目前AI可用在搭配音樂演出的技術有幾種:第一是「音樂自動生成」,也就是委託人工智慧公司或自行使用生成模型做一首曲子。第二是「虛擬樂手」,這可以是一段音樂、也可以是做一個形象來與其他演奏者一起表演,補足音樂家缺乏的部分。第三是「虛擬歌手」,這與前者一樣,只是角色換成歌手,例如選擇一首歌曲,請實驗室將音樂伴奏旋律與歌聲分離,如此現場樂團便能夠替抽離出的歌手歌聲伴奏,作為樂團練習用。第四是「自動伴奏」,有別於以往人類配合卡拉OK唱歌,現在則是AI自動跟著人類歌唱的速度變快或變慢,可說是「聰明的卡拉OK」。這些不同的AI技術在國際間較知名的有盧森堡、法國、韓國等國家;而國內除了中研院資訊科學研究所之外,還有台灣大學電機系的楊奕軒、台灣大學資工系的張智星、清大電機系的劉奕汶、清大資工系的丁川康、成大資工系的蘇文鈺、台灣人工智慧實驗室的專家學者們,以及幾家業界的科技公司正在研發。林怡君說:「我們可以跟國外買技術,但更希望跟國內實驗室一起合作,一起將音樂與AI科技帶上來。」 

然而,為了有人工智慧的演出她也煞費苦心,卻也意外地發現了特別的現象。林怡君苦笑地說:第一次的AI音樂會演出,我請了朋友來聆聽,但整場聽完後,朋友的父親卻疑惑:「這是什麼人工智慧,連看都沒有看到?!」的確,事先工作的過程以及音樂的生成,在演出的時候,畫面可能跟平常的音樂會是一模一樣的!尤其音樂會一向要求完美無誤,因此,完美的呈現,就容易讓觀眾誤以為與一般的音樂會呈現無異。既然如此,為什麼需要花這麼多的經費與精神做這樣的事?但這就是開發前期的必經之路,她也領悟到,在一般人的觀念裡,多半誤將「人工智慧」與「有形的機器人」劃上等號,因此期待在音樂的表演中,也會期望看到一個實體。然而這卻是個既有的迷思!她說:「如果我要給AI音樂一個定義,那會是一個在電腦裡面『由演算法生成的音樂』。我可以刻意給它『形象』,但基本上它是由實驗室生成的音樂作品,是無形的。反倒得藉由人類音樂家以技術展現其對音樂的情感,傳達給觀眾。」

為此,除了媒合AI與音樂表演之外,林怡君還必須在音樂會中,將複雜的實驗室研究,化為清晰易懂的方式顯示在觀眾面前。她說:「在音樂會前,我會要求工程師做簡單的介紹,有了基本的理解,在欣賞表演的時候,觀眾就會明白『原來剛剛說的就是這麼一回事』。」當然,音樂會中,經常得與不同實驗室合作,製作漫畫風等影像配合音樂,讓真人與虛擬人物互動,才能使觀眾有視覺上的依歸與新鮮感。

但表演遇上的挑戰不僅如此,他們也曾到演出前一天晚上10點多,還找不出人工智慧突然無法正常運作的原因,面對這種不可預知的事件,只能一邊工作一邊壓抑著忐忑不安的心情,祈禱明天的演出一切流暢。但是,突發事件就是會在以為一切都順利時迎面而來。林怡君記得,有一次安排了鋼琴手與自動伴奏一起演出,照理說,鋼琴一開始演奏,自動伴奏就會跟著出現。不料那次的音樂啟動,自動伴奏就是「不懂得聽」。「你能想像台下三百多位觀眾滿座的狀況下,發生了工程師最不想遇到的事!這實在非常尷尬!」於是現場只能立即調整、再來一遍,幸虧後來這次終於乖乖地按照計畫走完全曲。在會後整理錄影時,原本大可將這NG段落剪掉,但林怡君並沒有這麼做,因為她想反映真實,告訴大家:「那不是完全set好的!人工智慧也並不是萬能的。」

既然如此,什麼才是後盾?林怡君回答:「事實上,AI生成之後的結果,目前以美感要求來說,還是需要人類調整過。」確實,現階段的人工智慧在音樂領域中尚不成熟,工程師及詠唱師只能盡力餵養AI好的材料、設定好的條件,期待理想的結果出現,不一定能夠做出無懈可擊的作品出來。就連前述的貝多芬第十交響曲,在經過一個跨國、並且包含實驗室與音樂頂尖人才的團隊,加上長期的工作之後,仍必須經過作曲家的編修與收尾,才能夠真正被樂團演奏出來。其中AI與人類工作的百分比是多少?團隊也並沒有透露。再者,作品最終也需要表演者的詮釋,而不同的人演奏都各有差異,如此音樂才是活的。

「到現在還有很多人問我3、4年前的同樣問題:『人工智慧會取代音樂家嗎?』」林怡君笑著表示:「人的智慧才是背後能夠凌駕一切的!」如果是在音樂人工智慧作曲軟體中選擇幾個鍵,讓音樂創作直接產出,那的確容易,但是,那就少了創作人的意義了!她樂觀地說:「我將AI視為一個音樂史的過程!」就像歷史中各種樂派的出現及音響工程的進化那樣,AI是一股勢不可擋的潮流,而我們只不過用它來當作一個很好的「助手」,完成許多音樂上的華麗夢想而已。

(註)主辦暨執行單位為財團法人台灣人工智慧學校基金會,協辦單位則為中央研究院資訊科學研究所、中央研究院資訊科技創新研究中心。

與虛擬樂手人機協同預演,於蘆洲KHS表演廳。(楊上賢 攝 林怡君 提供)
台灣聲響藝術節中,人工智慧爵士樂創作演出及虛擬樂手合演,於台灣聲響實驗室。(楊上賢 攝 林怡君 提供)
沉浸式三面投影與AI樂團演出,於蘆洲KHS表演廳。(楊上賢 攝 林怡君 提供)
人工智慧舒伯特第8號交響曲演出,於蘆洲KHS表演廳。(楊上賢 攝 林怡君 提供)

林怡君的AI使用心法

  • Be openminded。要放寬心胸,接受新的事物,不需要排斥。
  • Try out yourself 。自己去試試看,即使是素人也好,只要有興趣,找找線上就會發現有很多AI可以產生圖、文字或音樂。所以放寬心胸,可以自己去試試看!
  • See AI as an assistant ,就像人像繪畫之後有即使有照相機的發明,但攝影師並沒有取代畫家一樣,兩種藝術各自有呈現方式。人工智慧節省了我們很多時間,幫我們更輕鬆完成想做的事。
本篇文章開放閱覽時間為 2024/03/26 ~ 2024/06/26
Authors
作者