机器学习一直是计算历史上最大的进步之一,现在被认为能够在大数据和分析领域发挥重要作用。大数据分析从企业的角度来看是一个巨大的挑战。例如,诸如了解大量不同数据格式,分析数据准备和过滤冗余数据等活动可能消耗大量资源。招聘数据科学家专家是一个昂贵的命题,而不是每个公司的手段。专家认为,机器学习能够自动执行与分析相关的许多任务 - 无论是常规的还是复杂的。自动机器学习可以释放大量可用于更复杂和创新的工作的资源。机器学习似乎一直朝这个方向前进。
信息技术背景下的自动化
在IT方面,自动化是不同系统和软件的连接,使他们能够在没有任何人为干预的情况下进行特定的工作。在IT行业,自动化系统可以执行简单和复杂的工作。一个简单的工作的例子可能是将表单与PDF集成,并将文档发送到正确的收件人,同时提供非现场备份可能是复杂作业的一个例子。
要做好自己的工作,需要对自动化系统进行编程或给出明确的指导。每次需要自动化系统来修改其作业范围时,程序或指令集都需要由人来更新。虽然自动化系统在其工作中有效,但由于各种原因可能会发生错误。发生错误时,需要识别和纠正根本原因。显然,要做自己的工作,自动化系统完全依赖于人类。工作性质越复杂,错误和问题的可能性就越高。
通常,将常规和可重复的作业分配给自动化系统。IT行业自动化的一个常见例子是自动化了基于Web的用户界面的测试。测试用例被馈送到自动化脚本中,并且相应地测试用户界面。(更多关于机器学习的实际应用,请参阅下一代欺诈检测中的机器学习与Hadoop。)
赞成自动化的论点是,它执行常规和可重复的任务,并释放员工做更复杂和创造性的任务。然而,也有人认为,自动化已经排除了以前由人类执行的大量工作或角色。现在,随着机器学习进入各个行业,自动化可以增加一个新的维度。
自动化机器学习的未来?
机器学习的本质是系统不断地从数据中学习并在没有人类干预的情况下进化的能力。机器学习能够像人类的大脑一样行事。例如,推荐引擎在电子商务网站可以评估用户的独特偏好和品味,并提供最适合用户选择的产品和服务的建议。鉴于这种能力,机器学习被认为是自动化与大数据和分析相关的复杂任务的理想选择。已经克服了传统的自动化系统的主要局限性,无法经常地进行人为干预。有多个案例研究表明,机器学习能够完成复杂的数据分析任务,这将在本文后面讨论。
如已经指出的那样,大数据分析是企业的一个具有挑战性的提议,它可以部分授权给机器学习系统。从业务的角度来看,这可以带来诸多好处,例如释放数据科学资源,以获得更多的创意和关键任务,更高的工作量,更少的时间完成任务和成本效益。
案例分析
2015年,麻省理工学院研究人员开始研究一种数据科学工具,该工具能够使用称为深度特征合成算法的技术,从大量原始数据中创建预测数据模型。科学家声称的算法可以结合机器学习的最佳特征。据科学家介绍,他们已经对三种不同的数据集进行了测试,并将测试范围扩大到更多的数据集。研究人员James Max Kanter和Kalyan Veeramachaneni在一篇文章中表示,将在国际数据科学和分析大会上发表演讲,“使用自动调整过程,我们优化整个路径而无需人为参与,使其能够概括到不同的数据集“。
让我们来看一下任务的复杂程度:该算法具有被称为自动调整能力的功能,借助它可以从原始数据(如年龄或性别)中获得或提取洞察力或价值,之后可以创建预测数据模型。该算法使用复杂的数学函数和称为高斯Copula的概率论。因此,很容易理解算法能够处理的复杂程度。这项技术也赢得了比赛的奖项。
机器学习可以替换作业
正在全世界讨论,机器学习可能取代许多工作,因为它以人脑的效率执行任务。事实上,机器学习将取代数据科学家有一些担忧,似乎有这样的担忧的基础。
对于没有数据分析技能但在日常生活中不同程度分析需求的普通用户,使用能够分析巨大数据量和提供分析数据的计算机是不可行的。但自然语言处理(NLP)技术可以通过教授计算机接受和处理人类的自然语言来克服这个限制。这样,普通用户不需要复杂的分析功能或技能。
IBM认为,可以通过其产品沃森自然语言分析平台,最大限度地减少或消除对数据科学家的需求。根据沃森分析和商业智能副总裁Marc Atschuller的说法,“有了像沃森这样的认知系统,你只是提出你的问题 - 或者如果你没有问题,你只要上传你的数据,沃森就可以看看它并推断你可能想知道什么。“
结论
自动化是机器学习的下一个合乎逻辑的步骤,我们已经在日常生活中遇到了影响 - 电子商务网站,Facebook的朋友建议,LinkedIn网络建议和Airbnb搜索排名。考虑到给出的例子,毫无疑问可以归结于自动机器学习系统产出的输出质量。对于所有的品质和好处,机器学习造成巨大失业的想法似乎有点过度反应。机器在我们生活的许多地方已经取代了人类几十年,但人类已经发展和适应,以保持行业的相关性。根据观点,机器学习对于其所有的破坏性而言,只不过是另一种人们将会适应的浪潮。