OpenAI是Elon Musk于2015年12月宣布成立的非盈利AI项目，科研人员会将大部分研究成果开源共享；主要关注增强学习和无监督学习——谷歌此前名声大噪的围棋程序AlphaGo用的就是增强学习；而无监督学习需要机器处理大量没有标记的数据，自己找到区分不同数据子集、集群、或者相似图像的办法，有点像婴儿学习世界的方式，一直被视作人工智能的真正潜力释放点。
卷积神经网络之父Yann LeCun有一个经典比喻：如果人工智能是一块蛋糕，增强学习(Reinforcement Learning)就是蛋糕上的一粒樱桃，而监督学习(Supervised Learning)是蛋糕外的一层糖霜，但无监督学习(Unsupervised Learning)才是蛋糕本身。目前我们只知道如何制作糖霜和樱桃，却不知道如何做蛋糕。
一次性模拟学习
OpenAI宣布的这种新型算法“一次性模拟学习(one-shot imitation learning)”指的是，当人类在VR中演示一次某个动作后，比如将桌面蓝色的小盒子叠放在红色小盒子上这个动作，机器通过学习这一动作就可以执行出相同的结果，并且不论桌面盒子摆放的顺序如何，机器都可以准确执行。
这套学习系统由两个神经网络组成：一个视觉网络(vision network)和一个模仿网络(imitation network)。
视觉网络(vision network)获得的图像来自机器人的摄像机，此前，这个视觉网络经过数十万张模拟图像的训练，每张都具有不同纹理、光影效果等(但是从未使用真实图像进行训练)；
模拟网络(imitation network)则必须生成一个与VR演示动作一致的执行步骤，并且推断出该任务的意图，使得在初始设定变更时(如盒子的摆放顺序调乱时)依旧可以找到蓝色的盒子并把它叠在红盒子上。
目前，学术界与产业界都在寻找使用各种训练机器人的手法，比如英伟达CEO黄仁勋在上周的GTC大会上也宣布了一款名为ISAAC的增强学习世界模拟器，创造出一个完全虚拟的、专为训练机器人而打造的世界。
这是一个遵循物理法则但不遵循时间法则的世界，在现实生活中，你想要训练一台机器学会打冰球，你要将这个冰球放在机器前面，一遍一遍地教会它；而在虚拟世界里，机器可以在一秒内重复众多次这样的动作，而且你还可以同时训练一堆机器学习打球，然后找到里面最聪明的一个，将它的“大脑”程序复制出来，创建一堆同样的机器再继续训练筛选。
来源：智东西
