随着近年来的VR热潮，我们对身边出现的VR事物已屡见不鲜，但目前开发者仍然需要投入大量人力物力在虚拟现实场景中完成3D建模。日前麻省理工学院（MIT）计算机科学和人工智能实验室（CSAIL）的Abe Davis及他的同时则想到了一种更好的方法。研究人员将他们的新技术称为“交互式动态视频 (IDV)”,通过结合传统的摄像机和算法来创建虚拟空间，让用户通过任何设备、伸手即可和屏幕上物件进行互动。
这个“交互动态视频”系统（Interactive Dynamic Video），简称IDV。对于某个对象，我们可以实施很多操作，本来是静止的画面，但是如果你戳他、推他或者做其他动作，并观察它们如何反应。很显然，我们不能对视频中的对象这么做——顶多看看手机中某段猫的视频，触摸一下手机屏幕，看看会发生什么。如果我说，无需逗只真猫，只要看视频就能与猫互动，这样的感受一定会非常棒。
“这项技术能让我们捕捉到物体的物理行为，从而让我们与其在虚拟空间产生互动。而通过让视频互动化，我们可以预测物体怎样对各种未知力产生反应，从而发现全新的视频互动方式。”麻省理工学院博士研究生亚伯·戴维斯（Abe Davis）在本月的发布会上表示，“将真实世界物件投放至虚拟世界的技术意义重大，其不仅能够对娱乐应用有明显加成作用，还能让我们在安全的虚拟环境中对实验对象作各种测试——这种方式不会对真实世界的物件造成任何伤害。”
戴维斯补充道，IDV 适用于诸多场景，但是工作方式有所不同。如电影制片人可以打造全新视觉效果，建筑师可以确定建筑结构是否良好。他举了个例表示，Pokemon GO 让虚拟人物掉落现实世界，而 IDV 则让虚拟人物（包括《精灵宝可梦Go》）与周围的环境产生真实互动，比如，让它们从周围某处草丛中跳出来。前该研究团队已试图将这项技术应用到《精灵宝可梦Go》中。
模拟对象运动最常见的方式，是构建一个 3D 模型。但是，3D 建模非常昂贵，且并没每个对象都能进行 3D 建模。尽管视频中所有的算法可以跟踪、放大对象运动，但无法在未知环境中可靠地模拟对象。研究团队用摄像机拍摄该物体最短5秒的视频，然后用一个算法生成一个预测模型，预测出该物体在其他外力的作用下产生的振动模式。所以上图中的室内的小人，在拍摄过程中，研究人员会在它站立的桌面上使劲拍打，使其产生振动。而这种振动，我们人类的肉眼几乎不可见。
戴维斯的研究表明，即使是一段 5 分钟的视频，信息也足够来创建逼真的模拟。为了模拟对象，该小组分析了视频剪辑中找到不同频率的振动模式，每一频率都代表了对象可以移动的不同方式。通过识别这些模式的形状，研究人员就能预测这些对象将如何在新环境下移动。
戴维斯已经把 IDV 用于视频中的很多对象，如桥梁、攀爬架和尤克里里。用鼠标点击几次，他展示了往不同方向推、拉、弯曲图片，甚至手能通过心灵感应，控制灌木丛中的叶子。“我们的假设是，对象会受到另一个力作用前，一直有所反应。你便能观察到对象在不同力的作用下是如何反应的。”戴维斯补充道，他已发现这一技术也适用于某些 YouTube 视频。
研究人员表示，IDV 技术在工程、娱乐等领域也有很多潜在用途。例如在电影中，CGI 角色（computer generated image，电脑成像）很难与现实环境产生真实的交互，当然也很贵。要这样做的话，电影制作人需要用绿光屏，创造可以与电影场景同步的详细虚拟模型。”
但是自从有了 IDV，摄影师就可以利用现实世界的视频，做些如遮蔽、提取、阴影的小编辑，达到类似的效果，但花费的时间和成本更少。对于安全工程师，他们可以用这个系统，模拟老房子在遇到强风和地震时的情景。
“把现实世界中的物体放到虚拟的模型中，还可以在一个安全虚拟环境中测试，而不会损害现实世界中的对象”，戴维斯希望这项技术能应用到更多领域，“创造虚拟现实的新形式，在捕捉和操控虚拟空间的现实对象这条路上，能走多远，现在得看我们。”IDV 项目已获得美国国家科学基金会和卡塔尔计算研究所的支持，还通过麻省理工学院能源倡议，得到了壳牌研究的支持。
