• <dl id="0wc4v"><ins id="0wc4v"></ins></dl>
  • <dl id="0wc4v"></dl>
    <dl id="0wc4v"><ins id="0wc4v"></ins></dl>
    <li id="0wc4v"><s id="0wc4v"></s></li>
  • <div id="0wc4v"><s id="0wc4v"><strong id="0wc4v"></strong></s></div>
    <sup id="0wc4v"></sup>
  •  

    Facebook 首席 AI 科学家Yann LeCun:未来AI芯片将如何发展?

    2019-02-20 10:42:27 来源:机器之心
    标签:

     

    「(关于 AI 芯片的开发)我们正处于非常初期的阶段……」在国际芯片顶会 ISSCC 上,深度学习先驱 Yann LeCun 破天荒地披露了 Facebook 正在自研深度学习芯片的信息。在这个硬件大会上,这一次他不仅说了很多,而且面对的是满堂芯片领域专家,颇有一副「我来教你怎么做芯片」的姿态。
     
    2019 ISSCC 大会近日在美国旧金山开幕,Facebook 首席 AI 科学家 Yann LeCun 在会上发表了主题演讲「深度学习硬件:过去、现在和未来」,介绍了深度学习?#33455;?#30340;发展将如何影响未来硬件架构。
     
    LeCun 在演讲中表示,我们对深度学习专业硬件的需求只会增加,动态网络、联合?#19988;?#32467;?#36141;?#31232;疏激活都将会影响未来硬件架构的类型。「这可能需要我们重造电路中的算法。」LeCun 说,如今的计算芯片明显没有面向深度学习进行优化,「所以人们正在尝试设计表达数值的更高效方式。」
     
    此外,在接受 VentureBeat 的采访中他还表示:深度学习可能需要一种比 Python 更灵活、更易于使用的新编程语言,目?#21543;?#19981;清楚是否有必要?#28304;?#36827;行?#33455;浚?#20294;这种未来的语言与?#33455;?#20154;员和工程师们根深蒂固的思想肯定是完全相反的。
     
    在下面的视频中,LeCun 讨论了?#30340;?#38656;要解决的硬件挑战,?#28304;?#36896;更高效、更?#34892;?#30340; AI 系统。LeCun 在 Twitter 上表示该视频很好地总结了他今天在 ISSCC 的演讲。
     
    接下来,机器之心将对 Yann LeCun ISSCC 大会演讲的核心内容进行介绍:
     
    LeCun ?#26696;?2.0 版、对图网络优化的 AI 芯片
     
    未来的人工智能芯片肯定和现在相对通用化的 CPU、GPU 有着不同架构,这一切还要从深度学习的发展说起。所以 LeCun 首先对在场的观众们介绍了 AI 算法的发展。
     
    我们都知道机器学习的?#26696;?#29702;论?#26477;?#35774;机器学习是一个?#26696;猓?#24378;化学习是?#26696;?#19978;的樱桃,监督学习是外面的?#19988;攏?#26080;监督学习则是?#26696;?#26412;体。在这之中,无监督学习的重要性不言而喻。为了?#20204;?#21270;学习奏效,也离不开无监督学习的支持。
     
    在 ISSCC 2019 上,Yann LeCun 再次放出了最新版的「LeCun ?#26696;?#22270;」:
     
     
    其中,无监督学习变成了自监督学习,我们可以认为 LeCun 所说的自监督学习就是一种无监督方法,模型预测的结果就是输入?#26087;?#25110;输入的一部分。例如常见的自编码器,我们希望将图像压缩到一个短向量,再恢复完整的图像,我们希望输入和输出?#38469;?#30456;同的,因此这可以视为一种自监督。又例如近来非常流行的预训练语言模型,我们会删除完整句子的某个或某些词,并希望模型重建完整语句,这里输入和预测?#24425;?#30456;同的,因此它?#24425;?#19968;种自监督学习。
     
    目前的?#26696;?#19982; LeCun 在 NIPS 2016 大会上第一次发布的版本已有所不同:
     
     
    事实证明,机器学习的?#33455;?#20154;员真的?#19981;兜案猓?#26377;时也会在上面放个樱桃。
     
    未来的 AI 芯片将会发展成什么样?在回顾了历史之后,LeCun 给出了自己的期望。首先,我们迫切地需要低功耗芯片处理来自移动设备的所有传感器数据,因为一些数据对于带宽和延迟较为敏感,在发送到云端之前需要预先处理。
     
    然后是「中间段」计算的范畴,它们通常是传统的「离线」神经网络训练和传统云端推理。这些任务都会消耗大量资源,因此科技公司急需获得更加高效的硬件。
     
    在深度学习「食物?#30784;?#30340;最高端,Facebook 和亚马逊、谷歌的研发部门一样正需要英伟达 GPU 之外的更多解决方案。当前,英伟达 GPU 是深度学习训练事实上的解决方案。「在最高端的位置,我们需要的是目前主流解决方案之外的竞争者。」LeCun 表示,「这并不是因为它们(英伟达芯片)并不?#36152;?#26426;器学习任务,而是因为我们需要未来计算的另一种思路,作为目前 GPU 短板的补充。」
     
    下一代芯片的架构仍然是一个悬而未决的问题。显然,未来的神经网络体量将?#23545;?#36229;过当前,因为我们可能需要输入整个视频的像素进行推理,从而预测视频片段的运动。但与此同时,这些操作可能必须在与当今基于矩阵乘法硬件不同的处理架构中进行计算。LeCun 认为,矩阵和张量是当今人工智能计算的基石,但在未来的 AI 计算中,它们可能并非最佳解决方案。
     
    「当前最先进的芯片基本上?#38469;嵌?#22823;量 4×4 矩阵乘法在进行优化。」LeCun 表示。「所以如果你可?#22253;?#33258;己的整个神经网络简化为 4×4 矩阵乘法,它就很好用。但这种硬件可能无法对大量卷积运算进行优化。」
     
    「在某种程度上,这和目前深度学习?#33455;空?#22312;思考的执行操作相同:访问数据不再通过交互作用,而是通过?#30475;?#25968;组。你所拥有的就是指针的数组,指向所需的数据。」Yann LeCun 说道。这对于处理基于计算图的数据非常?#34892;А?/div>
     
    深度学习算法的进步
    LeCun 在演讲中详细介绍了机器学习算法的发展历程、硬件?#36864;?#21147;的发展、深度学习的崛起、新架构的?#33455;俊?#24378;化学习的突破和自监督学习的未来。虽然很多内容是我们比较熟悉的,例如深度学习部分介绍的各?#26234;把?#35270;觉模型、DL 新架构中介绍的图神经网络、自监督学习中的预训练语言模型,但?#25925;?#26377;一些新的观点或角度。
     
    这一部分将简要介绍 LeCun 演讲的脉络,更详细的内容可查看 PPT 或其它资?#30784;?#39318;先 LeCun 从感知机开始介绍了机器学习发展的风风雨雨,尤其是 SGD 及反向传播算法的提出,以及通用计算芯片的大力发展,这些都为深度模型提供了基础。?#27604;?#26426;器学习早期发展肯定少不了 LeNet-5,它简单优美的 5 层结构奠定了后续众多卷积神经网络的基础。
     
    尽管 1990 年 LeCun 就?#20011;?#25552;出了 LeNet-5,但直到 2012 年 AlexNet 在 ImageNet 的?#26194;Γ?#21367;积网络才真正进入?#33455;?#21069;沿。因此 LeCun 表示当时学到的经验教训是硬件条件真的会影响?#33455;?#26041;向,好的软硬件框架能大幅度提升新方法的进一步?#33455;俊?/div>
     
     
    随着深度学习的崛起,卷积神经网络展现出?#30475;?#30340;信息?#23835;?#33021;力,它结构简洁、参数高效、计算快速,是理想而优雅的建模工具。因此深度 AlexNet、更深的 VGG 以及突破深度瓶颈的 ResNet 都相继提出。LeCun 表示这一段时间大家都在探索高效的卷积架构,包括探索更小卷积核的 VGG-Net、探索优良局?#23458;?#25169;结构的 GoogLeNet,以及探索更优梯度传播路径的 ResNet 与 DenseNet。
     
    虽然看起来只是网络变得越来越深,但隐藏在下面的信息流、梯度流、感受野以及张量计算流都经过不同的考虑,每一个基础架构的更?#38706;?#20196;我们兴奋不已。
     
     
    在基础架构不断进步的过?#35752;校?#21508;种视觉任务及其子任务也都在大步向前。例如视觉领域最基础的识别、定位和分割任务,它们各自经历一系列发展历程:从简单的基础卷积架构到为特定任务构建的高效卷积运算与结构。例如两阶段目标检测算法,它们从 R-CNN 到 Fast R-CNN 再到 Faster R-CNN,这三种模型的提出旨在更高效地利用卷积和卷积抽取的特征,更快地预测图像类别和物体位置。
     
    关注与非网微信 ( ee-focus )
    限量版产业观察、行业动态、?#38469;?#22823;餐每日推荐
    享受快时代的精品慢阅读
     

     

    继续阅读
    AI芯片又?#34892;?#31361;破,科学家制出“人工神经元网络”芯片

    近日由明斯特大学、牛津大学和埃克塞特大学组成的科研团队创建了包含类似于人类大脑“人工神经元网络”的芯片。利用光的力量,这些人工神经元可以模拟人类真实神经元以及突触的基本行为。

    软硬结合,Facebook研发机器人推动AI?#33455;?#21457;展

    Facebook正在研发机器人以推动AI?#33455;?#21457;展。Facebook的实验涉及使用触觉来帮助机器人完成简单的任务。

    ?#36710;?#24605;新版sensAI实现10倍的性能提升,助力网络边缘低功耗、智能IoT设备

    ?#36710;?#24605;半导体公司(NASDAQ: LSCC),低功耗、可编程器件的领先供应商,今日宣?#35745;?#23649;获殊荣的Lattice sensAITM解决方案的性能和设计流程将获得大幅增强。?#36710;?#24605;sensAI提供了全面的硬件和软件解决方案,能为网络边缘的智能设备实现低功?#27169;? mW-1 W)、实时在线的人工智能(AI)。

    Facebook又将面临转型,这次能否跟上?#38469;?#22823;潮?

    自2004年成立以来,Facebook?#20011;?#20174;默默无闻的小网站成长为世界上最大的社交网络。在?#26031;讨校現acebook也在不断改变以适应不断变化的趋势,包括2011年进行的重大转型。

    大数据时代,人工智能究竟能走多远?

    随着?#38469;?#30340;不断发展,?#38469;?#30340;种类越来越多,人们不可能掌握全部的?#38469;酰?#20294;是?#38469;?#23545;于人们的选择有了太多太多,这时候在选择什么?#38469;?#30340;时候,人们往往就会陷入迷茫,不知道应该选择什么样的?#38469;酰?#19981;清楚自己应?#20040;?#20160;么?#38469;?#19979;手,甚?#20102;?#20250;怀疑?#38469;?#30340;作用,认为?#34892;┘际?#27809;有意义,不知道有什么用。

    更多资讯
    谷歌打响断交第一炮后,这几家公司也欲停止与华为合作?

    今日又有几家厂商陆续宣布与华为停止合作。

    ARM 暂停与华为业务往来,任正非表示这对华为毫无影响?

    华为CEO任正非在接受采访时表示,美国出口管制导致arm暂停与华为合作,对华为“没有影响”,华为公司?#20011;?#33719;得arm架构的永久授权。

    ARM 暂停与华为合作,日资英企为何要听?#29992;?#22269;?

    日资英企为何要听美国的?arm中断与华为业务往来后,华为虽短期无压,但长期?#26032;恰?

    美国限制令进一步扩大,下一个被禁芯片关键?#26041;?#24656;是 EDA 工具?

    根据英国广播公司(BBC)报道,半导体知识产权龙头英国 Arm 公司的内部文件告知员工,要暂停与华为的所有?#34892;?#21512;约、支援和待确定的合约,因为其?#38469;?#21253;含美国?#38469;?#25104;分,Arm 在中国的子公司 Arm China 并未证实该消息的确实性,但?#20011;?#22312;业界引起轩然大波。

    日本?#19978;?#36981;守美国禁令,断供华为部分组件

    综合英国路透社和日本NHK的报道,日本?#19978;?#20844;司23日表示,在美国决定禁止向中国科技巨头华为销售美国零部件之后,该公司该公司正在暂停与华为的业务,并?#20011;?#20572;止向华为?#38469;?#20844;司销售部分组件,以遵守美国对华为公司的禁令。

    电路方案
    浙江快乐12官网
  • <dl id="0wc4v"><ins id="0wc4v"></ins></dl>
  • <dl id="0wc4v"></dl>
    <dl id="0wc4v"><ins id="0wc4v"></ins></dl>
    <li id="0wc4v"><s id="0wc4v"></s></li>
  • <div id="0wc4v"><s id="0wc4v"><strong id="0wc4v"></strong></s></div>
    <sup id="0wc4v"></sup>
  • <dl id="0wc4v"><ins id="0wc4v"></ins></dl>
  • <dl id="0wc4v"></dl>
    <dl id="0wc4v"><ins id="0wc4v"></ins></dl>
    <li id="0wc4v"><s id="0wc4v"></s></li>
  • <div id="0wc4v"><s id="0wc4v"><strong id="0wc4v"></strong></s></div>
    <sup id="0wc4v"></sup>