• <dl id="0wc4v"><ins id="0wc4v"></ins></dl>
  • <dl id="0wc4v"></dl>
    <dl id="0wc4v"><ins id="0wc4v"></ins></dl>
    <li id="0wc4v"><s id="0wc4v"></s></li>
  • <div id="0wc4v"><s id="0wc4v"><strong id="0wc4v"></strong></s></div>
    <sup id="0wc4v"></sup>
  •  

    Facebook 首席 AI 科学家Yann LeCun:未来AI芯片将如何发展?

    2019-02-20 10:42:27 来源:机器之心
    标签:

     

    ?#31119;?#20851;于 AI 芯片的开发)我们正处于非常初期的阶段……」在国际芯片顶会 ISSCC 上,深度学习先驱 Yann LeCun 破天荒地披露了 Facebook 正在自研深度学习芯片的信息。在这个硬件大会上,这一次他不仅说了很多,而且面对的是满堂芯片领域专家,颇有一副「我来教你怎么做芯片」的姿态。
     
    2019 ISSCC 大会近日在美国旧金山开幕,Facebook 首席 AI 科学家 Yann LeCun 在会上发表了主题演讲「深度学习硬件:过去、现在和未来」,介绍了深度学习?#33455;?#30340;发展将如何影响未来硬件架构。
     
    LeCun 在演讲中表示,我们对深度学习专业硬件的需求只会增加,动态网络、联合?#19988;?#32467;?#36141;?#31232;疏激活都将会影响未来硬件架构的类型。「这可能需要我们重造电路中的算法。」LeCun 说,如今的计算芯片明显没有面向深度学习进行优化,「所以人们正在尝试设计表达数值的更高效方式。」
     
    此外,在接受 VentureBeat 的采访中他还表示:深度学习可能需要一种比 Python 更灵活、更易于使用的新编程语言,目?#21543;?#19981;清楚是否有必要?#28304;?#36827;行?#33455;浚?#20294;这种未来的语言与?#33455;?#20154;员和工程师们根深蒂固的思想肯定是完全相反的。
     
    在下面的视频中,LeCun 讨论了?#30340;?#38656;要解决的硬件挑战,?#28304;?#36896;更高效、更?#34892;?#30340; AI 系统。LeCun 在 Twitter 上表示该视频很好地总结了他今天在 ISSCC 的演讲。
     
    接下来,机器之心将对 Yann LeCun ISSCC 大会演讲的核心内容进行介绍:
     
    LeCun ?#26696;?2.0 版、对图网络优化的 AI 芯片
     
    未来的人工智能芯片肯定和现在相对通?#27809;?#30340; CPU、GPU 有着不同架构,这一切还要从深度学习的发展说起。所以 LeCun 首先对在场的观众们介绍了 AI 算法的发展。
     
    我们都知道机器学习的?#26696;?#29702;论:假设机器学习是一个?#26696;猓?#24378;化学习是?#26696;?#19978;的樱桃,监督学习是外面的?#19988;攏?#26080;监督学习则是?#26696;?#26412;体。在这之中,无监督学习的重要性不言而喻。为了?#20204;?#21270;学习奏效,也离不开无监督学习的支持。
     
    在 ISSCC 2019 上,Yann LeCun 再次放出了最新版的「LeCun ?#26696;?#22270;」:
     
     
    其中,无监督学习变成了自监督学习,我们可以认为 LeCun 所说的自监督学习就是一种无监督方法,模型预测的结果就是输入?#26087;?#25110;输入的一部分。例如常见的自编码器,我们希望将图像压缩到一个短向量,再恢复完整的图像,我们希望输入和输出?#38469;?#30456;同的,因此这可以视为一种自监督。又例如近来非常流行的预训练语言模型,我们会删除完整句子的某个或某些词,并希望模型重建完整语句,这里输入和预测?#24425;?#30456;同的,因此它?#24425;?#19968;种自监督学习。
     
    目前的?#26696;?#19982; LeCun 在 NIPS 2016 大会上第一次发布的版本已有所不同:
     
     
    事实证明,机器学习的?#33455;?#20154;员真的?#19981;兜案猓?#26377;时也会在上面放个樱桃。
     
    未来的 AI 芯片将会发展成什么样?在回顾了历史之后,LeCun 给出了自己的期望。首先,我们迫切地需要低功耗芯片处理来自移动设备的所有传感器数据,因为一些数据对于带宽和延迟较为敏感,在发送到云端之前需要预先处理。
     
    然后是「中间段」计算的范畴,它们通常是传统的「离线」神经网络训练和传统云端推理。这些任务都会消耗大量资源,因此科技公司急需获得更加高效的硬件。
     
    在深度学习「食物?#30784;?#30340;最高端,Facebook 和亚马逊、谷歌的研发部门一样正需要英伟达 GPU 之外的更多解决方案。当前,英伟达 GPU 是深度学习训练事实上的解决方案。「在最高端的位置,我们需要的是目前主流解决方案之外的竞争者。」LeCun 表示,「这并不是因为它们(英伟达芯片)并不擅长机器学习任务,而是因为我们需要未来计算的另一种思路,作为目前 GPU 短板的补充。」
     
    下一代芯片的架构仍然是一个悬而未决的问题。显然,未来的神经网络体量将?#23545;?#36229;过当前,因为我们可能需要输入整个视频的像素进行推理,从而预测视频片段的运动。但与此同时,这些操作可能必须在与当今基于矩阵乘法硬件不同的处理架构中进行计算。LeCun 认为,矩阵和张量是当今人工智能计算的基石,但在未来的 AI 计算中,它们可能并非最佳解决方案。
     
    「当前最先进的芯片基本上?#38469;嵌?#22823;量 4×4 矩阵乘法在进行优化。」LeCun 表示。「所以如果你可以把自己的整个神经网络简化为 4×4 矩阵乘法,它就很好用。但这种硬件可能无法对大量卷积运算进行优化。」
     
    「在某种程度上,这和目前深度学习?#33455;空?#22312;思考的执行操作相同:访问数据不再通过交互作用,而是通过?#30475;?#25968;组。你所拥有的就是指针的数组,指向所需的数据。」Yann LeCun 说道。这对于处理基于计算图的数据非常?#34892;А?/div>
     
    深度学习算法的进步
    LeCun 在演讲中详细介绍了机器学习算法的发展历程、硬件?#36864;?#21147;的发展、深度学习的崛起、新架构的?#33455;俊?#24378;化学习的突破和自监督学习的未来。虽然很多内容是我们比较熟悉的,例如深度学习部分介绍的各?#26234;把?#35270;觉模型、DL 新架构中介绍的图神经网络、自监督学习中的预训练语言模型,但还是有一些新的观点或角度。
     
    这一部分将简要介绍 LeCun 演讲的脉络,更详细的内容可查看 PPT 或其它资?#30784;?#39318;先 LeCun 从感知机开始介绍了机器学习发展的风风雨雨,尤其是 SGD 及反向传播算法的提出,以及通用计算芯片的大力发展,这些都为深度模型提供了基础。?#27604;?#26426;器学习早期发展肯定少不了 LeNet-5,它简单优美的 5 层结构奠定了后续众多卷积神经网络的基础。
     
    尽管 1990 年 LeCun 就?#20011;?#25552;出了 LeNet-5,但直到 2012 年 AlexNet 在 ImageNet 的?#26194;Γ?#21367;积网络才真正进入?#33455;?#21069;沿。因此 LeCun 表示当时学到的经验教训是硬件条件真的会影响?#33455;?#26041;向,好的软硬件框架能大幅度提升新方法的进一步?#33455;俊?/div>
     
     
    随着深度学习的崛起,卷积神经网络展现出?#30475;?#30340;信息提取能力,它结构简洁、参数高效、计算快速,是理想而优雅的建模工具。因此深度 AlexNet、更深的 VGG 以及突破深度瓶颈的 ResNet 都相继提出。LeCun 表示这一段时间大家都在探索高效的卷积架构,包括探索更小卷积核的 VGG-Net、探索优良局?#23458;?#25169;结构的 GoogLeNet,以及探索更优梯度传播路径的 ResNet 与 DenseNet。
     
    虽然看起来只是网络变得越来越深,但隐藏在下面的信息流、梯度流、感受野以及张量计算流都经过不同的考虑,每一个基础架构的更?#38706;?#20196;我们兴奋不已。
     
     
    在基础架构不断进步的过?#35752;校?#21508;种视觉任务及其子任务也都在大步向前。例如视觉领域最基础的识别、定位和分割任务,它们各自经历一系列发展历程:从简单的基础卷积架构到为特定任务构建的高效卷积运算与结构。例如两阶段目标检测算法,它们从 R-CNN 到 Fast R-CNN 再到 Faster R-CNN,这三种模型的提出旨在更高效地利用卷积和卷积抽取的特征,更快地预测图像类别和物体位置。
     
    关注与非网微信 ( ee-focus )
    限量版产业观察、行业动态、?#38469;?#22823;餐每日推荐
    享受快时代的精品慢阅读
     

     

    继续阅读
    相较于特斯拉的自动驾驶?#38469;酰琖aymo在训练数据上处于明显劣势?
    相较于特斯拉的自动驾驶?#38469;酰琖aymo在训练数据上处于明显劣势?

    模仿学习可能成为自主驾驶的关键;大规模的训练数据是进行模仿学习的关键;特斯拉拥有大量的训练数据;Waymo没有多少训练数据。

    英特尔Cooper Lake人工智能?#25945;?#21161;力Facebook

    英特尔的Cooper Lake微架构旨在取代该公司目前的Cascade Lake产品,它可能会带来一些机器学习和人工智能的新?#38469;酰?#36825;要归功于Facebook。

    美国的下一代”极光”超算,能否撼动中国的最强超算地位?
    美国的下一代”极光”超算,能否撼动中国的最强超算地位?

    据外媒报道,美国能源部长里克·佩里(Rick Perry)和?#25105;?#21592;迪克·德宾(Dick Durbin)今天在阿贡国家实验室(Argonne)出席了一场仪式,公布了美国下一代超级计算机的详细信息。美国能源部的新超算将由英特尔在阿贡国家实验?#21307;?#36896;,这将是美国第一台每秒可进行1百亿亿次浮点计算(Exaflop)的超算。

    美公布下一代超算详细参数,每秒可进行1百亿亿次浮点计算

    据外媒报道,美国能源部长里克·佩里和?#25105;?#21592;迪克·德宾今天在阿贡国家实验室出席了一场仪式,公布了美国下一代超级计算机的详细信息。美国能源部的新超算将由英特尔在阿贡国家实验?#21307;?#36896;,这将是美国第一台每秒可进行1百亿亿次浮点计算(Exaflop)的超算。

    人工智能与机器靴学习的区别到底在哪里?

    当人们被要求评估人工智能或机器学习的潜力以解决其组织的问题时,最好了解两者之间的区别。

    更多资讯
    NVIDIA Jetson?#25945;?#32852;手AWS让百万连接设备实现人工智能

    NVIDIA 18日宣布与亚马逊AWS IoT展开合作,让NVIDIA Jetson助力?#27809;?#22312;数百万台连接设备上部署人工智能与深度学习。

    高通全新QCS400 SoC系列推动智能音箱产品的发展

    Qualcomm Technologies International, Ltd.今日推出全新Qualcomm? QCS400 SoC系?#23567;?#20026;更智能的音频和物联网(IoT)应用提供高度优化且支持人工智能功能的解决方案。

    Microchip推出3.0版MPLAB Harmony,为PIC和SAM MCU提供统一的软件开发框架

    Microchip Technology Inc.(美国微芯科技公司)今日宣布推出最新版本的统一软件框架MPLAB? Harmony 3.0(v3),首次为SAM MCU提供支持

    Imagination为Android提供最新PowerVR开发工具

    Imagination Technologies (GDC展位号S763)宣布推出最新款的增强工具,以帮助开发者对使用了PowerVR图?#26410;?#29702;器的Android设备进行图形性能优化。最新的PowerVR工具包括了对Unity?和Unreal Engine 4?的专项支持

    高通也要做智能音箱?发布系统单芯片产品和放大器解决方案意欲何为?
    高通也要做智能音箱?发布系统单芯片产品和放大器解决方案意欲何为?

    该解决方案首次将复杂、高端的放大?#38469;?#25972;合到外型精巧的喇?#21462;?#38899;响与放大器中,使其更具商业可行性。并指出,这为OEM厂商打开一扇大门,使他们能在更精巧、具成本效益的设备里加入低耗电的放大能力,并优化原料成本。

    电路方案
    浙江快乐12官网
  • <dl id="0wc4v"><ins id="0wc4v"></ins></dl>
  • <dl id="0wc4v"></dl>
    <dl id="0wc4v"><ins id="0wc4v"></ins></dl>
    <li id="0wc4v"><s id="0wc4v"></s></li>
  • <div id="0wc4v"><s id="0wc4v"><strong id="0wc4v"></strong></s></div>
    <sup id="0wc4v"></sup>
  • <dl id="0wc4v"><ins id="0wc4v"></ins></dl>
  • <dl id="0wc4v"></dl>
    <dl id="0wc4v"><ins id="0wc4v"></ins></dl>
    <li id="0wc4v"><s id="0wc4v"></s></li>
  • <div id="0wc4v"><s id="0wc4v"><strong id="0wc4v"></strong></s></div>
    <sup id="0wc4v"></sup>