아트&테크놀로지학과 정다샘 교수 연구팀(아트&테크놀로지학과 한단비내린 석사, 인공지능학과 김동민 석사과정생, 컴퓨터공학과 박한나 학사, 대학원 인공지능학과 이시훈 석사과정생)이 영국 King’s College London의 Mark Gotham 교수와 공동으로 음악 인공지능 분야 Top Conference인 International Society for Music Information Retrieval Conference 2024(이하 ISMIR 2024)에서 발표한 논문이 Best Paper Award에 선정되었다.

음악정보학 및 음악인공지능 분야의 대표적인 국제 학술대회인 ISMIR는 전세계 다양한 대학 및 Meta, ByteDance(TikTok), Adobe, Sony, ByteDacne(TikTok), Spotify, Yamaha 등 세계적인 기업에서도 논문을 발표하는 저명한 학술대회로 Google Scholar 기준 Music/Musicology 분야에서 다른 SCIE/A&HCI 저널과 비교하여도 가장 높은 h5 인덱스를 기록할 만큼 영향력 있는 논문들이 많이 발표된다. ISMIR 2024는 11월 10일부터 11월 14일까지 샌프란시스코의 The Hyatt Regency에서 개최되었다.

채택된 논문은 ‘Six Dragons Fly Again: Reviving 15th-Century Korean Court Music with Transformers and Novel Encoding’으로, 연구팀은 현재는 노래 악보만 전승되고 있는 15세기 세종대왕 작곡의 치화평, 취풍형을 딥러닝을 사용하여 여섯 개의 악기로 이루어진 연주 가능한 현행 정악 정간보로 재생성하는 방식을 제안하였다.

연구팀은 국립국악원의 정악 정간보를 자동으로 인식할 수 있는 광학음악인식 기술을 개발하여 정악 정간보 데이터셋을 구축하였다. 또한 정간보를 효율적으로 활용하는 인코딩 방식을 고안하고, 트랜스포머 기반 언어 모델을 활용하여 15세기 치화평과 취풍형의 선율을 현대에 연주 가능한 선율의 형태로 재생성하였다. 더불어, 재생성된 선율을 바탕으로 현행 정악 편성을 위한 완성된 연주보를 완성하였다. 또한 일반 사용자가 해당 모델을 쉽게 사용해볼 수 있도록 인터랙티브 웹 데모를 구현하여 공개하였다. 최종 생성 결과물은 5월 14일 경복궁 수정전에서 열린 “세종대왕 나신 날” 627돌 기념 행사에서 연주되었다.

해당 연구는 정간보 형식을 그대로 활용하는 인코딩 방식을 최초로 제안하고, 광학인식을 이용해 구축한 정악 정간보 데이터셋을 공개했다는 점과, 한국 전통음악과 같이 비서구권 음악을 적합한 방식으로 다룸으로써 음악 인공지능의 영역을 한 단계 더 확장했다는 점에서 큰 의의가 있다. 다양한 음악 인공지능 기법을 적재적소에 활용하고 이를 통해 높은 수준의 음악 작품을 완성했다는 점을 높게 평가 받아 ISMIR 2024 프로그램 위원회의 만장일치로 올해 Best Paper Award 세 편 중 하나로 선정되었다. 국내 연구팀이 ISMIR에서 Best Paper Award를 수상한 것은 이번이 처음이며, 이를 통해 국내 연구팀의 우수한 연구 역량을 입증하고 인공지능의 국악 적용 사례를 국제 학계에 널리 알릴 수 있었다.

논문 제목: Six Dragons Fly Again: Reviving 15th-Century Korean Court Music with Transformers and Novel Encoding

논문 링크: https://arxiv.org/abs/2408.01096

웹 데모: https://www.six-dragons-fly-again.site/

연주영상: https://youtu.be/7zS1FSG7dcg