张晓林中科院人怎么样 机器人眼会超越人眼吗? | 仿生视觉张晓林

AlphaGo战胜韩国职业围棋手李世石,向世人宣告一个全新的“人工智能”时代的来临。深度学习和人工智能也迅速成为大家聚焦的热门话题,机器人在智力水平上反超人类已初见端倪,但机器人想要全面拥有人的能力还需解决最重要的视觉系统障碍。为此,中科院SELF讲坛 X墨子沙龙创新大会上,邀请了张晓林教授为我们讲解仿生眼的过去与现在。

张晓林

中国科学院上海微系统研究员中科院上海微系统与信息技术研究所仿生视觉系统实验室主任入选上海市千人计划 中组部千人计划特聘专家在仿生视觉领域提出了独自的双眼视觉运动控制理论申请中国、日本、美国等各国专利30余项 已有多项研究成果被产品化

▲张晓林在SELF讲坛

眼睛的诞生,引发生物大爆发

讲机器人仿生眼之前,我们先聊一聊眼睛。

在寒武纪时期,发生了著名的生物大爆炸。研究认为,是海洋虫的大脑细胞产生了感光效应,感光细胞慢慢变成了眼睛。正是因为眼睛的形成,生命开始大量诞生。

比较著名的是一种名叫奇虾的海洋蠕虫,它有两只复眼,所以在当时成了海洋的一方霸主,因为复眼的运算功能很容易形成立体视觉,所以在比较简单低等的昆虫界会较多地用到复眼。还有一种眼睛比较特别,跳蛛有8只单眼,因为它脖子无法自如转动,所以前后各4只。

脊椎动物的眼睛是进化的一个转折点,几乎所有的脊椎动物都有两只眼睛,而且都是可以转动的,但又细分成四种类型。

第一种是食草型动物眼睛,比如说兔子,它有360度的视角,能看到四面八方的事物,但遗憾的是它没有立体感,这与它只需要防止被猎物吃掉而不需要捕食有关。

第二种是食肉型动物眼睛,它需要捕捉动物而且还要精确测量对方的距离,所以它们的眼睛接近于人眼,例如老虎的眼睛。

第三种是鹰眼,单独把鹰眼列出来是因为它比较特殊,我们人类的眼睛只有一个中心凹的结构,而鹰眼有两个中心凹,它在一千多米的高空往下看时用的是深度的中心凹,在发现目标后快接近地面的时候用的是近的中心,所以它抓取猎物又快又准。

而第四种则是人眼。

机器人模拟人眼,难在哪儿?

人眼接受信息占人脑外部接触信息的83%以上,而人类的眼睛又是所有动物里面综合性能最高的。不仅要用到单个的立体视觉成像,还要用到整体视觉能力,所以人眼的立体视觉能力和颜色辨别能力远超过动物的眼睛。

其中,对个体的感知是人眼最基本的功能——对自身和对象位移的测量,尺寸的测量。而最重要的功能是对自身和对象位置的测量,比如走了多少,转了多少,这是一种对空间环境的感知和判断。

人眼和动物的眼睛不同之处在于,动物的两只眼睛可以分开看不同的东西,而人眼不行。人的眼睛需要感知整体空间的立体成像,所以必须保持左右眼的相对位置关系,是处于相对运动的状态。

这种相对位置关系我们称之为标准辐辏,它非常精密,并有六个自由度(可以进行上下左右旋转运动),左右眼之间的上下旋转、距离高低,都能轻易地做出判断。

人眼还有三种功能:

第一种功能叫做前庭动眼反射,在人的耳朵里有半规管和耳石,是用来测量头部的旋转和平移运动的,它能控制人眼处于平稳的状态。

第二种功能叫颈眼反射,就是脖子的肌肉对眼睛的控制功能。

第三种功能很重要,叫跳跃性眼动。顾名思义,就是当视线从一个物体转移另一个物体时,眼睛有一个高速的条约,可达到每秒钟800度,在这段跳跃的时间中,所有图像是被切断的,看不见模糊的那一部分,但这恰恰在机器人的身上是难以跨越的一道鸿沟。

机器人仿生眼的发展轨迹

要在机器人身上模仿人的眼睛,主要分三大部分:第一是机器人眼球构造,第二是运动控制系统,第三是图像处理。

张晓林教授做的第一代机器人,是在东京医科大学花了三年时间完成的,第一代机器人的眼睛与人眼很像,给它两个球,它也只能盯着一个看,但张晓林并不满足于此,他来到东京工业大学一直致力于仿生眼的研发,于是有了第二代,第三代。

现在正在做第四代机器人,它把各个眼球运动的功能算法都存在芯片里,与视觉云和互联网相连接,使它不断接近于人眼甚至超过人眼的功能。

▲机器人眼中的世界及运动轨迹

第四代仿生眼攻克了技术上的一些难题,首先是周边视和中心视,其次是双眼协调运动,再次是目标跟踪,你进它退,我退它跟。

然后是前庭动眼反射,用到了陀螺和加速传感器把信号加载到视觉反馈系统里,即使快速转动视线也不会跑偏,最后是跳跃性眼球,在六、七年的时间里给机器人加上了视觉里程计功能,通过深度的三维重建,能感应到障碍物的远近,可以按照自己的轨迹运动。

仿生眼的未来展望

在仿生眼达到人眼的基本功能以后,有很多地方它甚至能超越人眼。

比如说仿生眼可以变焦,眼球机构的转角传感器的精度提高能使测量精度精准许多;控制速度上也能远远超越人眼的反应;信息处理上可以同时处理大量数据,这是人脑办不到的。 ▲全自动3D摄像机

仿生眼技术的日趋成熟也会惠及到我们的生活中,我们现在的视觉系统用的主要是主动视觉,像雷达放出能量通过反射信号测算距离,广泛地运用于无人驾驶。

但张教授表示今后被动视觉将占有一席之地,单目或双目视觉系统将不再陌生。当然,最典型的应用当属全自动3D摄像,在电影《阿凡达》拍摄之后,大家开始意识到全自动3D摄影的重要性,得益于机器人仿生眼功能的灵感,目前也制作完成了全世界第一个可以自动拍摄3D的系统。

张晓林教授表示,机器人视觉的不断发展,一方面能制造出更多种类、更多功效的机器人,另一方面这些功能在人们的生产生活中也将产生广泛而深远的影响,他期待着机器人物种大爆炸时代的到来。

SELF格致论道是中国科学院计算机网络信息中心和中国科学院科学传播局联合主办的公益讲坛,每月一期。SELF是 Science, Education, Life, Future的缩写,提倡以"格物致知"的精神探讨科技、教育、生活、未来的发展,尝试打破过去纯粹以“知识传播”为主的科普形式,专注于思想的传播,力图从思想的源头上促进公众参与科学的积极性,打造具有中国科学院特色的、融合创新、科学与人文关怀并存的公益演讲品牌。