人工智能 前沿技术(人工智能前沿技术基础)

 

近年来，人工智能发展迅猛，其主要动力来自深度学习。深度学习的炙手可热源自于它对人工智能技术发展的整体促进和在广泛应用场景中的巨大应用价值。毫无疑问，深度学习是当今时代人工智能前沿技术的核心。因此，学习和讨论人工智能前沿技术必然要从深度学习切入。

深度学习的发展历程表明，正是有海量数据、大规模算力和算法突破等多方面要素加持，以及各领域大数据需求的不断推动，这项技术才得以迅猛发展和大规模应用。但是，水能载舟，亦能覆舟，这些要素，也恰恰构成了深度学习进一步发展道路上的主要障碍。具体表现包括：数据层面，对数据规模的依赖，即数据饥渴问题，使其很难应用于小数据场景。数据量高质低造成的垃圾进、垃圾出的模型质量控制问题。人工智能 = 七成人工 + 三成智能的对人工标注高度依赖问题。数据集、相关任务和评价指标有意无意的规划偏差所导致的各种AI再次战胜人类，离超级AI只差一步的荒谬结论问题等。算力层面，更大的模型虽能带来更好的效果，但随之而来的巨大算力开销又让人望而却步，中小企业和科研机构的预算难以负担。计算开销大造成的推理轻量化、实时化、边缘化难题。深度学习所引发的难以忽视的能效和排放问题等。算法层面，神经网络固有的黑盒特性被人诟病。有效果但说不清，有问题又抓不住，理解难、纠偏难且潜在被攻击的风险。应用模式单一、难以应用对复杂场景真实问题等等。以上种种，无一不是深度学习进一步发展和推广应用必须应对的难题。

互联网小常识：在运行中输入“ntbackup”开启备份使用程序。Windows2003的五种备份方法：副本备份、每日备份、差异备份、增量备份、正常备份。

针对这些问题，经过学术界和工业界的持续攻关，深度学习不断取得令人鼓舞的进展，具体可以概括为多、快、好、省四个方面。

多，主要体现在能解决问题的多样性上。强化学习是近几年来机器学习领域的热门技术，可以让计算机在没有明确监督信息的情况下，实现基于过程的自主学习。经过一段时间对反馈的适应和学习，在之后的环境交互中，能自动产生正确决策。除解决传统机器学习的静态数据分类、回归等问题之外，还能解决需要在动态环境、动态过程中不断学习解决的问题。目前，强化学习和深度学习的结合，即深度强化学习（Deep Reinforcement Learning，简称DRL），已经在包括下棋、电竞、驾车等复杂问题中展现出强大能力，拓展了多种机器学习问题的解决思路。生成式对抗神经网络(Generative Adversarial Networks，简称GAN)，是近年来另一项突破性的技术创新。它通过两个神经网络——一个负责生成，一个负责鉴别——的相互对抗、共同进化，在自弈中磨练出创造逼真图像、声音和文本的能力。生成式对抗神经网络，为智能系统赋予了创造新内容的能力，也让机器学习减少了对数据规模的依赖，已广泛应用于图像、视频、音频的合成与编辑等方面。多模态学习（Multimodal Learning）是另一种多样性的表现，通过对具有一定联系的多种模态数据（最典型的是图像和有一定对应关系的文字）进行表示学习，取长补短，将各模态数据、语义、表达上的优势进行整合，可以有效应对某些缺少甚至没有标注数据的场景。

快，顾名思义，就是要提速，尽可能减少时间开销。现有的深度学习模型，结构越来越复杂、层数越来越多、参数量越来越大，推理需要的时间开销也越来越大。要提速，最直接的策略是压缩模型，对训练好的模型进行结构和参数上的简化，降低运算负载，在满足精度要求的前提下，尽量减少推理时间。一种方法是直接给模型瘦身，对网络层、节点做减法，通过结构性修剪或随机屏蔽及剔除节点简化网络结构，或降低运算精度减少计算开销。在保持原有整体架构大体不变的条件下，实现运算的大幅缩减。另一种方法是知识蒸馏（Knowledge Distillation），通过用较大网络产生的输出预测来训练较小的网络，从功能强大的复杂模型中提炼出缩微版相对简单的模型，将大模型获得的知识迁移到小模型中。不管哪种方法，都有一个共同的前提，就是要保证足够的精度，否则压缩也就没有意义了。

互联网小常识：路由器一般根据背板的交换能力来划分，背板交换能力大于40Gbps的路由器称作高端路由器，小于40Gbps的称为中低端路由器。

好，这里的重点不是性能指标好，而是更好用、更方便。深度学习之所以取得现在的成功，离不开一系列模型和算法层面的创新——不断更新的网络架构、能实现快速收敛的优化器和各种超参优化策略。而这些创新带来的副产品是深度学习模型的设计和训练越来越成为一项知识和计算密集型的工作。为了使深度学习更容易应用到实际场景，自动化机器学习(AutoML)技术应运而生。对传统机器学习技术而言，主要是在特征工程、模型设计和优化算法等层面实现自动化；对深度学习来说，最主要是神经网络架构搜索(Neural Architecture Search，简称NAS)和超参数的自动优化。针对端到端深度模型的网络结构搜索及其模型和算法的优化，已经提出了基于强化学习、遗传算法和其他进化策略的神经网络架构搜索技术。其中一些技术已经投入到实际的工程化应用，取得了明显的效益，加快了人工智能大众化的步伐。

省，深度学习时代，如果说哪个字最让人印象深刻，那一定就是——贵，GPU贵、数据贵、人工贵。总之，效果是真好，成本是真高，很难找到曾经的小而美的感觉了。要解决成本居高不下的问题，一种最重要的策略就是省。怎么省？一是重用，避免重复造轮子，能直接用的就拿来用，能借鉴提高的就不再从头训练。迁移学习（Transfer Learning），就是这种策略的典型代表，把从特定任务中学到先验知识、特征提取能力或识别模型，迁移到其他不同的任务中，通过微调实现已有模型的跨域重用。通过迁移学习，不但能节省大量从头训练的开销，还有助于解决某些领域训练数据不足的问题，充分利用领域间、问题间、数据间潜在的共通性，共享模型，取长补短。另一种策略，则是从模型训练过程入手，对学习过程进行学习和控制，从高层次改进学习效率。元学习（Meta Learning）、终身学习（Lifelong Learning）和课程学习（Curriculum Learning）就是这方面的典型代表。元学习要解决的是学习如何学习的问题，希望通过少量样本迅速完成学习，适应新任务和新场景，最典型的应用是少样本学习（Few-Shot Learning）。终身学习通过积累过去获得的知识而不断学习，并用在未来的学习和问题解决过程中，形成连续的、进化式学习过程。课程学习基于对整个学习过程进行合理规划的想法，先学习简单的概念，再逐步学习依赖于这些简化概念的复杂概念。对人力的节省，主要体现在减少对大量人工标注的依赖，一是让人与机器更密切地进行合作、让双方发挥各自最主要的优势，达到效益最大化，这方面的典型代表是主动学习（Active Learning）和人在环路（Human in the Loop）。这类模式中，人机高度协同，只有少数必要的高难度样本，才由人工完成标注，中低难度的样本，则交由擅长大规模精准重复的机器完成处理。另一种策略，是尽量避免人工监督的学习方式，如自监督学习（Self-Supervised Learning，简称SSL）。本质上，自监督学习也是无监督学习，是充分利用数据潜在结构从数据本身获取监督信号的学习方式，例如最常见的掩码式学习方式，就是根据输入的可观察或非隐藏部分，来预测输入中被暂时掩盖的未观察或隐藏部分。通过对大规模未标注数据的自监督学习，可以得到预训练模型（Pretrained Model），通过合理迁移和微调，能高效处理各种下游任务。

与其他领域一样，人工智能的技术发展一直是在螺旋式上升。往一个方向走得久了，其反面的弱点必然会显露出来。好在，办法总比问题多，前景一定是光明的。认清现状，满怀希望，阔步前行，才是迎接人工智能美好未来的正确姿势。

互联网小常识：IEEE802.11定义了两种类型的设备，无线结点和无线接入点，工作在2.4GHZ的ISM波段内。速度为1Mbps，2Mbps。

免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186