OPPO语音语义科学家 郝杰
智能手机产业发展至今,无论是终端产品还是芯片厂商,都将AI的能力放在了战略性的地位,AI正在从底层硬件到用户体验等各个环节赋能智能手机。
作为全球销量位居前列的智能手机厂商,OPPO当然也对AI高度重视。一方面OPPO已经在手机中给用户带来了包括AI拍照、语音助手、识屏、翻译等功能;另一方面,OPPO今年正式成立研究院,聚焦在AI、5G等新兴技术的预研。
在12月15日的 2018 T-EDGE 全球创新大会上,来自OPPO研究院的语音语义科学家郝杰详细表达了OPPO对于未来AI技术发展的观点,主要涵盖三个方面:
首先,OPPO认为AI不仅是一种能力,也是一种思维,智能手机本身恰好是AI落地的最佳载体之一。比如,OPPO早在2012年的时候开创美颜技术,通过传统的图像处理、人工的特征工程和分类算法实现的。现在通过引入深度学习技术,可以让美颜方案更加精细化,比如说算法可以很容易的识别出用户的性别、年龄、肤色、肤质,千人千面地给用户提供定制化的服务。
“还有近期上市的OPPO R17智能手机,有了深度学习、AI超清引擎等技术之后,夜景拍摄的效果得到了显著提升,我们可以看到在夜景下图片的边缘和细节更加清晰,噪点能得到很好的控制。还有暗光下拍摄亮度不够这些问题也都得到了很好的解决。我们发现这是人工智能技术和摄影艺术的完美结合。”
其次,他表示AI是服务产品的途径,技术要落地在产品之上,才能给用户带来切实的价值。而这一过程并不容易,需要企业经过反复的测试和验证。
“给大家举个例子,Find X 是OPPO今年发布的旗舰手机,主打3D结构光和人脸解锁功能,这也是Android世界中的第一款搭载3D结构光人脸解锁的手机。为了这个功能我们探索了用户的各种使用场景、不同的光线环境、摄像头升降速度,综合考虑传感器、系统、软件和设计方面的各种需求之后,经过几十次快速迭代,终于可以把这款屏占比高达93.8%的全面屏手机送到用户手中。”
第三,就是要始终坚持用户需求和前沿技术双驱动的创新路径。比如,OPPO Hyper Boost加速引擎,从系统、游戏、应用三个方面给用户提供全场景、系统级的全面流畅体验。
“系统方面,我们采用了全新的行为感知和系统调度的理念,提供超过50多种的优化方案,系统启动的速度可以提升30%以上,界面切换更加流畅;游戏方面,如王者荣耀多核多线程技术最早就是基于OPPO R11这款手机做的优化;应用方面,针对淘宝、微信等App的几十个场景都做了优化,例如淘宝购物车页面进入速度提升48.21%;微信进出会话页面流畅度提升29.8%;手机QQ 打开聊天页面速度提升67% 以上等等。”
最后,郝杰还分享了OPPO未来对于AI方面的畅想。首先是增强现实AR技术;其次是AI的多模态融合;第三是是软硬件和算法的深度结合。而支持这些未来技术研究的,是OPPO研究院,以及其分布在全球各地的六大研究所。
以下是OPPO语音语义科学家郝杰在 2018 T-EDGE 创新大会上的演讲全文,略经钛媒体编辑:很高兴今天在这里跟大家做简短的交流,为大家解释一下OPPO对于AI的一些观点,我自己25年前开始搞语音识别,但是AI、大数据、深度学习这些概念从来没有像最近这三年这么火,这些新技术已经成为了整个行业的高频的热词。
主持人做开场白的时候提到汽车导航的功能特点,我感觉到他有轻微的调侃和抱怨,我想说的是兄弟你应该满足,因为现在的汽车导航比十多年前已经好很多。
2004年的时候,我带领我以前的团队做成了我们中国汽车市场上前装导航器的第一套语音导航系统,那时候比现在还要简单,所以我们的用户永远很难得到充分的满足的。
OPPO是一家全球领先的智能终端公司。到目前为止,我们开展手机业务已10年,也得到数亿用户的喜爱。如果每个OPPO的用户像我一样每天使用手机在几个小时的话,那我们每天的用户总时长会高达几十亿小时。这些终端设备上每天都会发生海量的用户行为、产生大量的用户数据,它就像一个汪洋大海,需要我们划动人工智能的小船,来为用户提供精准的、个性化的服务。
AI是一种能力,也是一种思维OPPO的使命是让不凡的心尽享至美科技。首先是我们希望给用户带来美的产品和体验,OPPO手机未来也会和人工智能结合越来越紧密,给用户带来极致的体验。
#p#分页标题#e#上月底,OPPO公司召开了面向内部的第一届科技展,OPPO创始人兼CEO陈明永先生发表了他的观点,他认为AI不应该是一门玄学,AI是一种能力,也是一种思维,有了AI我们可以打造出更加极致的产品。
智能手机本身恰好是AI落地的最佳载体之一,但是智能手机AI体验目前还有非常大的改善空间。OPPO会非常积极的拥抱人工智能,把人工智能技术落地在我们的手机和周边产品上,我们会密切的关注AI方面的前沿研究和应用成果。
我们来看一个例子,2012年的时候,我们在行业内率先推出了智能手机的前置美颜功能,当时我们调研市场的时候发现,用户不仅希望拍出的照片很清晰,而且希望这个照片很好看。那个时候我们的技术还没有使用现在这么火爆的深度学习,用的是人工的特征工程、以及传统的图像处理和分类算法。
尽管如此,这样的美颜功能在当时市场上也取得了极大成功,现在有深度学习人工智能的加持,我们可以把美颜功能做的更加极致,比如说算法可以很容易的识别出用户的性别、年龄、肤色、肤质,千人千面的给用户提供美颜服务。
第二个例子是近期上市的OPPO R17智能手机,有了深度学习、AI超清引擎等技术之后,夜景拍摄的效果得到了显著提升,我们可以看到在夜景下图片的边缘和细节更加清晰,天空中的噪点能得到很好的控制,云层得到了很好的保留和展现,暗光下拍摄也有了足够的亮度,给用户呈现出温柔的夜色。我们发现这是人工智能技术和摄影艺术的完美结合。
技术不是终点,是服务产品的途径另外一个观点是:我们认为技术不是终点,而是服务于产品的途径。极致的产品体验才是我们的目标,技术要落地在产品之上,给用户带来切实的价值,解决用户痛点,这才算是有用的技术。
从技术到产品之间是一个漫长的道路,需要非常艰苦的打磨,我们就相当于奔跑在这条漫长道路上的老司机,开着车拉着我们的产品伙伴,把他们拉到存在用户痛点的地方,让他们去挖掘需求解决痛点,创造用户价值。
再给大家举个例子,Find X 是OPPO今年发布的旗舰手机,主打3D结构光和人脸解锁功能,这也是Android世界中的第一款搭载3D结构光人脸解锁的手机。为了这个功能我们探索了用户的各种使用场景、不同的光线环境、用户手势、摄像头升降速度,综合考虑传感器、系统、软件和设计方面的各种需求之后,经过几十次快速迭代,终于可以把这款屏占比高达93.8%的全面屏手机送到用户手中。
用户需求和前沿技术双驱动第三个观点是:在打磨产品研发产品的过程中,坚持用户需求和前沿技术双驱动的方法论,让人工智能为手机注入更多人性化体验,一方面深刻洞察需求、挖掘出刚需,另一方面要洞察产品背后的技术的原理,用技术逻辑去实现它。
通过这样双驱动的过程,智能手机这个产品就存在非常大的进步空间,从算力、算子、框架、算法、数据到应用,再从应用反馈到算法和模型上,完成数据闭环。
还有两个例子,首先是AI智慧相册。当用户拍摄很多照片之后,我们会根据时间、地点、主题人物等等这些重要的标签进行梳理分类,用户在查找照片的时候,可以很快很方便的找到,我们希望用户看到照片的时候不仅仅是看到照片而是一段段美好的回忆,产品打磨中我们要非常深刻的洞察到用户的心理,带给用户非常极致的体验,不仅要满足用户对功能上需求,也要满足情感上的一些诉求。
另外一个例子是刚刚推出的OPPO的全面加速引擎Hyper Boost,从系统、游戏、应用方面给用户提供全面流畅的体验。
系统方面,我们采用了全新的行为感知和系统调度的理念,提供超过50多种的优化方案,系统启动的速度可以提升30%以上,界面切换更加流畅;游戏方面,如王者荣耀多核多线程技术最早就是基于OPPO R11这款手机做的优化;应用方面,针对淘宝、微信等App的几十个场景都做了优化,例如淘宝购物车页面进入速度提升48.21%;微信进出会话页面流畅度提升29.8%;手机QQ 打开聊天页面速度提升67% 以上等等。
OPPO对未来AI的畅想最后分享一下OPPO在未来对于AI方面的畅想。
首先是增强现实AR技术。它能融合现实和虚拟两个世界,为客户打开视觉交互新体验,AR不仅是IoT的延伸,给用户带来沉浸式的新体验,还能解放用户的双手带来全新的交互方式。
其次是AI的多模态融合。在手机上我们通过视觉技术,可以拍照翻译、拍照支付,所见即所得,而且可以很快速方便的连通这个事物背后的服务和内容,通过听觉技术可以实现语音的交流,可以用语音控制手机或者音箱,获得内容信息。通过实现情景智能,我们可以让手机更懂得用户,在特定场景下理解我们想买什么东西、想点播什么音乐,各种生活服务随手可得。
#p#分页标题#e#最后是软硬件和算法的深度结合。包括云上和端上算法的深度结合,比如目前语音助手和智能音箱存在的痛点,用户使用它的时候必须先唤醒它才能对话,这个交互就不够自然,让用户感觉,人是设备的助理,设备还不是一个很体贴人的助理。未来的语音助理做到非常聪明的时候,应该是用户不需要唤醒它。语音唤醒背后的技术是语音关键词的捕捉,上个世纪末,在一句话中的同时捕捉多个关键词的算法就已经成熟了,至今却没有在硬件设备上广泛使用。这既是一个机会也是一个方向。
随着5G的到来,云服务和设备端AI算力的提升,还会发生各种各样的深度整合,到那时候我们带给用户的体验将会更加极致。
针对AI等研究方向,OPPO公司也成立了自己的研究院,目前在世界各地共布局了六大研究所。研究院承载着两项使命,首先是作为新技术研究和创新的载体,其次是作为对外技术合作的窗口。所以,我们也非常欢迎和业界伙伴进行广泛的交流,并期待有深入的合作。谢谢大家!