所有图片均由美国麻省理工学院有形媒体实验室提供
麻省理工学院媒体实验室(tangible media lab)的博士生、中国女孩萧潇(xiao xiao)和石井弘一起合作开发了一个名为“行板”的软件,为自动演奏的钢琴加上了会跳舞的小人。在“行板(andante)”中,各式各样的动画小人会随着练习演奏者手指的弹奏在琴键上忽而疾速忽而缓慢的走动,通过这种人机交互,帮助学习者把严谨枯燥的音乐学习变得有趣且好玩,给了初学者更直接明确的增强现实体验。石井弘和中国女孩萧潇从自己学习弹钢琴的过程中总结出了一些个人体会,认为钢琴的键盘界面让人能够弹奏出比其他乐器更复杂的音乐。学习乐器演奏绝不仅要将乐谱上的每个音符准确地演奏出来,还需要丰富的表现力和想象力。他们设计的“行板”通过投影机将影像投影到琴键上方的屏幕上,然后由一套数码音响系统触发事先手绘好的动画人物来完成各种动作。目前,他们正在开发一套新系统,以便根据弹奏的音乐能够自动生成跳舞的小人和动作。
“行板”中这些小人的动作可以帮助正在学习弹钢琴的学生根据小人走路、奔跑和跳动等动作更好地理解音乐节奏,把音乐学习变得可视化,直观而明了。随着演奏者对复杂的音乐结构有了相当的认知,对音乐的表现力各方面都有了更深层次的了解后,石井弘和中国女孩萧潇将会有更具观点价值的设计加入并升级改进,未来人与电脑的互动也将会越来越广泛,甚至能够运用到音乐以外其他技能的学习及应用当中。