人工智能项目开发验收维护及机器学习开发框架介绍

人工智能项目开发验收与维护模型性能评估与测试调优分类任务的评价指标评价指标:使用不同的性能度量,往往会产生不同的评判结果,评价指标的选择,影响性能、算法选择、特征重要性的评判的结果。模型的泛化性:机器学习的目标是从训练领域的训练数据到任意其他数据上的性能良好,可以在未来对模型没有见过的数据进行预测,可能会产生过拟合和欠拟合的情况。准确率:正确分类的样本数占总样本数的比例,但是对于不均衡数据而言,模型会调入“高准确率陷阱”,为避免该陷阱,引入混淆矩阵。混淆矩阵:把样本的真实分类值作为一个维度,把预测分类值作为一个维度。精准率和召回率,精确率取决于模型准不准,召回率看数据全不全,不可兼得,要取舍。模型调优,过拟合与欠拟合。调参过程类似,先找出若干模型,然后基于某种模型进行评估。算法参数一般...

人工智能项目开发规划与准备

人工智能开发目标发现与明确问题:目标:AI的目标是将隐藏在一大批数据背后的信息集中处理并提炼,从而总结出研究对象的内在规律。技术角度:性能能达到预期吗?需要多少数据?能够获取到吗?需要多久?业务角度:要解决什么问题,商业目的是什么?数据分析:通过统计、机器学习、深度学习方法,对大量的数据进行计算、汇总和整理,最大化开发数据价值,发挥数据的作用。开发周期内容:收集数据:数据源和数据格式模型探索:测试、部署、监控模型优化数据准备:重要性:数据采集和数据清洗占到人工智能项目一半以上的工作,训练的数据量越大,模型越准确。建立数据标准、数据工程、专家解决方案没来减少数据准备(79%)的时间。数据限制:时间成本、算力和数据量。业务流程:数据采集:观测数据、人工收集、问卷调查、线上数据库数据清洗:有...

人工智能基础知识

人工智能、机器学习和深度学习之间的关系:机器学习是人工智能的一个分支,该领域的主要研究对象是人工智能,特别是如何在经验学习中改进具体算法的性能;深度学习是一种典型的机器学习方法,是一种基于对数据进行表征学习的算法。人工智能 > 机器学习 > 深度学习。机器学习人工智能实现路径:机器学习是对能通过经验自动改进计算机算法的研究;机器学习是用数据或以往的经验,以此优化计算机程序的性能标准。人类是基于经验,机器学习基于训练模型。举例:草莓机器学习就是找到草莓的不同特征维度(尺寸、颜色、成熟度)与草莓标签(酸、甜)之间的映射关系。机器学习就是找到特征与标签之间的关系,利用算法从一类训练数据或信息中自动分析并获得该类数据或信息的规律,并利用获得的规律进行预测。上述寻找关系和规律的过程,...

人工智能导论

艾伦图灵,1936年发布《论可计算数及其在判定问题上的应用》,提出算法和计算机两个概念。1950年发布论文《计算机与智能》,提出了“图灵测试”。1956年美国达特茅斯会议“人工智能”概念诞生。人工智能(Artificial Intelligence)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新技术科学。人工智能是对人的意识、思维的信息过程的模拟,人工智能不是人的智能,但能像人那样思考、也可能超过人的智能。根据对环境的感知做出合理的行为并做出做大收益。人工智能三个层面:计算智能(能算能存)、感知智能(能听能说,能看能认)、认知智能(能理解,会思考)。计算智能,快速计算和记忆存储,速度较快占领高地。1996年国际象棋大师卡斯帕罗夫4:2击败IBM深蓝,但19...

适用性学习方法

费曼学习法以教促学:用教会别人的方式,来巩固自己学习的知识。执行起来分为四个步骤,以学习一个知识点为例:概念(Concept):学习知识点相关知识,直到感觉自己掌握。讲述(Teach):用自己的语言,将这个知识点教给别人,让别人能够听懂,学会。回顾(Review):讲述结束后,分析自己在讲述过程中,有哪些理解不透彻,甚至理解错误的地方,或者虽然自己感觉是理解了,但是讲出来还是让人感觉晦涩难懂。简化(Simplify):针对第三步中发现的问题,继续学习,直到能够以更加自然流畅、简洁精准的语言将知识点阐述清楚,更容易让人理解。完成以上四步之后,再重复这个过程,直到讲述过程简单、生动、形象,相关案例能信手拈来。SQ3R阅读法五个阶段(Survey,Question,Read,Recite,R...