IT技術と芸術との融合

 

源氏絵研究の推進のために源氏絵データベースの整備を恵泉女学園大学稲本万里子教授と進めています。2017年度より科研基盤B「オントロジーに基づく源氏絵データベースを共有・活用した源氏絵の総合研究（代表稲本万里子）」に連携研究者として参加しています。

研究目標

IT技術と芸術との融合による新規研究領域の開拓

背景

北陸先端科学技術大学院大学知識科学研究科に在籍中に知識科学の観点から芸術系の学生を指導する機会（修士課程）がありました。卒業生にはその後学位を取得してアカデミックポジションで活躍している人もいます（豊田喜代美、大島千佳）。芸術と科学（工学、情報学）という異分野が融合することにより今までに全くない新しい研究を創発することが楽しみで研究を進めています。

研究テーマ

  • 源氏絵オントロジーの研究
  • 深層学習を用いた源氏絵の分析
  • 仮想現実（VR）を用いた時代屏風の再現
  • 仮想現実（VR）を用いた六条院の再現

源氏絵オントロジーの研究

源氏絵は源氏物語全54巻の展開に重要な場面や挿話を絵画化したもので、登場人物、背景、小物などからどの場面かを特定できる。源氏絵を構成する要素の関係をオントロジーとして体系化することで源氏絵を計算機が「理解」できるようになることを目指す。

土佐光吉筆「源氏物語図屏風」関屋・行幸・浮舟　メトロポリタン美術館所蔵

深層学習を用いた源氏絵の分析

美術史の専門家は絵師の微妙なタッチの違いからその流派を識別することができる。例えば、平安貴族独特の人物表現法である引目鉤鼻においても微妙な表現の違いがあるという。このような専門家の審美眼にはたして深層学習は太刀打ちできるのであろうか。研究当初はその正解率は限定的[河野文弥2017]であったが最新の顔認識アルゴリズムを用いると正答率は格段に向上した[加藤拓也2017]。しかしながら一方で分類に用いた箇所を調べると？？？という部分もあり、深層学習の効用と限界を垣間見た、という状況である。テーマ的には面白いので今後ともさらに発展させていく予定である。

仮想現実（VR)を用いた時代屏風の再現

源氏絵に何故金箔や金砂子が多用されているのか。金箔が雲形をしていることから源氏雲とも呼ばれている。金箔を貼るという装飾効果に加え、様々な場面を屏風に描くときの時空間的な隔たりを想像させるという効果もあるという。さらに、当時は絵巻や屏風を暗い部屋の中で灯明の下で見ていたという。これを再現するために、VR上での時代屏風の再構築を進めている[津野駿幸2017]。

時代屏風　六曲一隻 公家屋敷 (小長谷研究室所蔵）

  • 恵泉女学園大学スプリングフェスティバルで津野君が時代屏風VRをデモしました。

研究発表

  • 稲本万里子，加藤拓也，小長谷明彦：深層学習による「幻の源氏物語絵巻」の流派推定に関する考察‐AI 技術による「絵師の流派」概念の再構築-, 人工知能学会論文誌, 36巻6号, p.F-L12_1-16 (2021). ***2021年度人工知能学会論文賞受賞***
    DOI: https://doi.org/10.1527/tjsai.36-6_F-L12
  • 加藤拓也，稲本万里子，小長谷明彦：深層学習法による源氏絵の流派推定，人工知能学会全国大会（第32回），2D1-05，鹿児島 6月5日 (2018).
  • 津野駿幸，稲本万里子，小長谷明彦：仮想空間上の灯明光源効果を用いた時代屏風の再現，人工知能学会全国大会（第32回），2K2-02，鹿児島  6月5日 (2018).

論文

  • 加藤　拓也：深層学習による源氏絵の解析，東京工業大学情報工学科卒業論文，2018年2月
  • 河野文弥：Deep Learning を用いた源氏絵の画像認識, 東京工業大学総合理工学研究科知能システム科学専攻修士論文，2017年2月

仮想現実（VR)を用いた六条院の再現