您所在的位置:首页 > 营销策划

热点推荐

最新推荐

2019年深度学习的十大预测

编辑:互联网时代网时间:2019-05-31 17:40:15阅读次数:

总结:如果思维连的方式是错误的,机器学习当然不是一个很大的进步!

如果思维连方式是错误的,机器学习当然不是一个很大的进步!

2018已经结束,现在是2019年年初预测的学习时间深度。这里是我的前2017年和2018年预测与回顾:

关于2017年的预测和评论。2017预测涵盖了硬件加速,卷积神经网络(CNN)的统治地位元学习,强化学习,对抗性学习,无监督学习,学习的流动性,以及深度学习的组成(DL)的设计模式和实验之外理论部分。

关于2018预测与回顾。2018预测涵盖硬件初创公司,元学习替换SGD,代车型,自游戏,语义鸿沟,解释性,海量数据的研究,教学环境,人工智能和认知会议道德。

通过回顾我的预测显示,我发现我过于乐观,高估了技术发展的步伐。总体而言,社会一直在夸大预期的状态。事后看来,由于忽视的潜在复杂性的普遍认识。现在,我们不得不降低他们的期望,专注于有前途的领域。这些有前途的领域会逐渐进步,而不是“登月”(注:一个疯狂的想法或项目是不太可能实现)。

革命性进步,应分阶段进行,我们遇到今天是介入水平的重大障碍。这并不意味着我们不能做任何的进展,但在目前的成熟度级别众多优秀成果,这些成果已准备好发展,在2019 DL的进展将主要集中在务实的理解。

下面是我在过去几年的预测,它们可以被用来为指导,以跟踪DL进度。

\

1。深度学习硬件加速放缓

深度学习硬件加速放缓脉动阵列在2017年给了世界一个巨大的加速增长。我们不能指望显著提高计算能力在2019年,图灵核心NVidia的仅比核快一点沃尔特。谷歌的TPUv3液体冷却系统,现在,与以前的产品相比,更高的密度。我不认为2019将是任何显著架构的改进,所以不要为大幅如往年增加。

然而,我们将看到GraphCore和隼新的内存架构,以避免电力传输和稀疏支持运营的成本,但需要更改深度学习的格式,以适应这些新的架构,以及需要新的硬件的研究,这由生物纳米意图启发。

2。无监督学习已经解决了,但也不能期待

的思维方式无监督学习是错误的。LeCun蛋糕理论是错误的,不同类型的学习关系应该是这样的:

为什么UL最低最小值,难度?这是因为没有目标,你可以做任何集群的可能是有效还是无效。最终,它归结为基于性能UL-嵌入式较高水平。UL装配基本上包含丰富的现有数据的,在现有上游过程取决于如何使用目标的。ELMO和BERT已经发现,我们可以训练预测(或产生)UL它的数据,这对上游任务奠定了良好基础。UL基本上是监督学习,标签已经存在于数据。总之,UL已经解决了,但并没有像大多数从业者所期望的。如果网络可以使一个很好的预测,或可产生原始数据的一个很好的传真,那么这是UL。

因此,每个人都认为解决UL将是向前迈进了一大步,因为人们可以使用这些数据而无需人工标签。不幸的是,因为东西是很容易提取可免费获得,它已经解决。我预测,在UL 2019年,研究人员将接受针对这一新的起点,而是专注于更有价值的研究(即连续或介入研究)。

3。仅元学习研究

我们的元学习的理解似乎是一样的模糊无监督学习的理解。如今,元学习的做法更像是学习迁移。其实更先进的元学习可以建立和完善自己的模型。元学习应该是能够建立外推法和创造性的学习模型,但是我们无法实现这一功能。

到很多领域在技术上元学习算法任何学习方法适用。例如,梯度下降,遗传算法和演化博弈是自我学习算法元。Target元学习方法是建立在许多地区良好的学习算法。

\

目前还很少有人知道,元学习算法,但知道有元学习算法,我们不明白,我们不知道人们使用元学习算法。此外,元学习,监督学习太是一个常见的问题是无法理解如何在一般的方式,它可能是世界上真的没有免费的午餐。

我认为,一些具体的方法(如生成模式,混合模式的课程和培训)会变得越来越有价值的结果,这意味着更好的机会,只有特定类型的元学习算法,我们在学习任务中发现有用。像采用梯度下降仅学习特定的任务,加速梯度下降,元学习只能在它的使命,以提高学习见过。总之,元学习是最好的插值不能概括全部,也许是通用元的学习方法不存在,且有元学习方法,它可以被拼凑在一起,产生有效的课程。

总之,元学习将需要研究。

4。在科学应用代计算模式

我们将能够更好地控制代车型。有三种类型的已被证明是有效的生成模型:从编码器,GaN和生成模型变化基于流。我想看看在GAN和流量模型和VAE的开发进展迅速。我也希望看到这种涉及复杂的自适应系统的应用在科学探索(即天气,流体模拟,化学和生物学)。在这方面科学进步的进展将产生深远的影响。

五。在预测的混合模型中的应用

\

深入学习发挥提供高维预测系统的优点。然而,学习的深度仍然无法发展自己的抽象模型,这仍然是基本的障碍,解释和外推预测。为了补充这些限制,我们将看到,现有的模型无模型学习的结合融合了双混合过程解决方案。

我觉得用手工制作的模型可以缓解的免费模式-RL的效率低下的问题。我期待网络图的进展情况,并在这些数字与以前的基于模型的模型不同的,我们将看到令人印象深刻的结果。我也希望DL的能力,以增强通过算法预测现有的符号整合。

DL工业化会不会是因为我们在学习的迁移方面取得了进展,但通过整合和培训模式DL的仿真模型。

6。更多模仿学习

外推推理不需要模仿,所以我们会看到在模仿现有的各种系统,取得了长足的进步。为了能够模拟机器的行为,只需要创建一个描述性模型反映的行为。这是不是生成的模型更容易,因为所产生的模型生成必须探索未知的约束。之所以产生模型的操作一个很好的模式是,它不只是模仿数据来推断因果潜在生成数据。

7。更深入的研究探索一体化设计

我们会看到很多转移到现有的设计工具生成的研究模型。它第一次出现在视野,并逐渐向另一方向。

事实上,我们甚至可以被视为进步AlphaGo和AlphaZero设计探索。去和有竞争力的国际象棋选手已经开始研究和探索从DeepMind游戏AI引进战略,制定新的战略以前未开发。

简单的匹配算法和可扩展性深入的学习方法,将有可能提高人机完成集思广益的设计,大量的深入学习方法现在被整合到Adobe和Autodesk产品。Style2Paints与标准桌面应用深入学习方法整合的一个很好的例子。

深入学习网络可以减少人们在工作流完成任务所需的认知负荷。深度学习工具,让您在处理模糊和混乱更多的认知细节创造更多的好。这些需要减少信息过载,提高召回,提取文本和更快的决策。

8。衰减高端培训,未来将专注于学习的发展

训练结束返回将会减少,我们将看到在不同环境中的网络知识培训,学习专业技能,新方法,这些方法拼接在一起形成,作为构建块用于更复杂的技能。我希望看到在2019年的培训课程的进展,并希望看到更多的研究是由人类婴儿的发展启发。培训网络,以执行复杂的任务将涉及一系列复杂的激励,所以我们需要改进来解决这个问题的方法。

9。更丰富的嵌入式自然语言处理

NLP已在2018年取得了进展,这主要是由于进步创建字嵌入无监督学习,NLP 2018的进展可以归因于嵌入更先进的神经(ELMO,BERT)。通过简单地更换较富裕的嵌入,嵌入这些改进许多上游NLP任务,在网络图的工作,能够进一步提高深度学习NLP功能。

变压器网络被证明是非常有价值的NLP,我希望它继续在其他领域。我认为优势ConvNet网络将面临挑战变压器网络。我的直觉是,相对于某个固定机制ConvNets可用,注意是不变或协的执行更通用的机制。

10。使用的控制论和系统思维

主要缺点深入的研究和实践是缺乏大局的理解。我们目前需要得到来自非传统来源更多的灵感,我相信控制论之前,这些资源是系统思维和相关学科研究。我们需要开始思考如何建立强大的智能基础设施和智能扩展。这需要大量的思想超越了目前机器学习研究人员。

迈克尔在他的文章“人工智能 - 革命尚未发生,”评论说,诺伯特维纳一直控制论“主导了当前的时代”。控制论和系统思考将有助于我们制定一个更全面的方法来设计的AI系统,人工智能的成功部署将最终如何与用户与他们的人力需求相一致。这将需要探索和发展的整体方法的各种相互作用部分的整合。

许多更新颖的学习方法可以追溯到思想在控制论的深度。AI需要在它的世界模型中的主观视角的自我理解将增加。预测编码,从内到体系结构的外侧,反映学习,及时推理,内在动机,好奇心,自我代表和业务模型是在该例子中的相关。

总结一下

深入研究继续作出突破性的进展速度,我希望研究可以转化为工业应用。在今天的市场学习普遍缺点的深入了解是不是发展到目前存在的问题的全面解决方案。创建DL为一体的解决方案的整体能力的组件将被集成到一个追求技巧。机器学习的方法可能是错的,我们可以发现在控制论更合适的角度。我们可能无法AGI在短期内,但学习使用工具和方法的深度可以作为一个有价值的科学和商业应用的坚实基础。

文章最初名为“10预测换深学习中2019”

译者:乌拉乌拉

分享:0最爱

上一篇:在最后一页下一步GitHub的2018机器学习与数据科学年度官方报告:

相关阅读
  • 2019-6-24对赌协议会是电影市场的救

    摘要:“狼2”上映票房超过421天。7十亿,并且继续反弹。与原来的“灰太狼2”签署“对赌协议”的...

  • 2019-6-24小公会求融资,大公会欲上

    摘要:本文从“今日净红”近日,YY公会,然后两家具乐部,再加上娱乐已经完成了收购协会。社区...

  • 2019-6-24对话最有影响力的以色列人

    摘要:全球科学界十大最具影响力的以色列人ZackWeisfeld首先要了解这个数字被称为Tzahi(扎克)Weisf...

友情链接:

观音心经 大悲咒经文 佛经

|营销策划|销售技巧|市场公关|品牌营销|网络推广|

苏ICP备18043316号    互联网时代网版权所有    网站地图