人工智能开发目标
发现与明确问题：
目标：AI的目标是将隐藏在一大批数据背后的信息集中处理并提炼，从而总结出研究对象的内在规律。
技术角度：性能能达到预期吗？需要多少数据？能够获取到吗？需要多久？
业务角度：要解决什么问题，商业目的是什么？
数据分析：通过统计、机器学习、深度学习方法，对大量的数据进行计算、汇总和整理，最大化开发数据价值，发挥数据的作用。

开发周期内容：
收集数据：数据源和数据格式
模型探索：测试、部署、监控
模型优化

数据准备：
重要性：数据采集和数据清洗占到人工智能项目一半以上的工作，训练的数据量越大，模型越准确。建立数据标准、数据工程、专家解决方案没来减少数据准备（79%）的时间。
数据限制：时间成本、算力和数据量。
业务流程：
数据采集：观测数据、人工收集、问卷调查、线上数据库
数据清洗：有缺失的数据、有重复的数据、内容错误的数据、不需要的数据等。
数据标注：即通过分类、画框、标注、注释等，对图片、语音、文本等数据进行处理，标记对象的特征，以作为机器学习标签的过程。
数据划分：训练集用于完成模型训练任务，包括训练误差、经验误差。
测试机用于模型的泛华效果进行检验。
一般是8：2或者7：3，训练集较大。
数据验收：
合法性：数据符合定义的业务规则或约束的程度，例如约束，包括类型约束、范围约束、唯一约束。
准确性：数据接近真实值的程度。
完整性：所有必须数据的已知程度。
一致性：在一个或跨多个数据集的一致程度。

数据管理：利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程其目的在于充分有效地发挥数据的作用，实现数据有效管理的关键是数据组织。
数据管理VS数据治理：
数据管理包含数据治理，数据治理是明确数据责任，流程，确保数据资产得到产期有效的管理。数据管理包含方方面面，例如建立一个数据仓库，定义谁能来访问和管理这个数据仓库。
相关问题：数据不足，数据过小没有足够的样本量；数据隐私泄露；分类质量低；数据质量低，样本不匹配样本混乱。

数据特征工程：从原始数据转换为特征向量的过程。
特点：特征工程是机器学习中很重要的起始步骤，直接影响效果，需要大量的时间，数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。
基本方法：
特征选择：从给定的特征集合中选出相关特征子集的过程，去除无关特征，降低特征学习难度，让模型简单，降低计算复杂度；抛弃这部分特征（冗余特征），可能会降低模型的性能，计算复杂度 和 模型性能 之间的取舍。要注意不能丢弃重要特征。
特征提取：一般是在特征选择之前，提取的对象是原始数据，目的是自动构建新特征（深度学习），将原始数据构建为一组具有明显物理意义（Gabor、纹理特征、几何特征）或统计意义的特征。特征提取——转换；特征选择——挑选。
特征构建：从原始数据中人工构建新的特征，观察原始数据，思考问题的潜在形式和数据结构，数据特殊性和机器学习实战有助于构建，需要创造力和想象力。

人工智能、机器学习和深度学习之间的关系：
机器学习是人工智能的一个分支，该领域的主要研究对象是人工智能，特别是如何在经验学习中改进具体算法的性能；深度学习是一种典型的机器学习方法，是一种基于对数据进行表征学习的算法。
人工智能 > 机器学习 > 深度学习。

机器学习
人工智能实现路径：机器学习是对能通过经验自动改进计算机算法的研究；机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。人类是基于经验，机器学习基于训练模型。
举例：草莓
机器学习就是找到草莓的不同特征维度（尺寸、颜色、成熟度）与草莓标签（酸、甜）之间的映射关系。
机器学习就是找到特征与标签之间的关系，利用算法从一类训练数据或信息中自动分析并获得该类数据或信息的规律，并利用获得的规律进行预测。
上述寻找关系和规律的过程，称为训练。结果是得到一个机器学习模型。

三种类型：监督学习、无监督学习、强化学习。
监督学习：是在有指导的前提下让机器进行学习，这种指导的关键是给训练数据标注好“标签”。监督学习的目标在观察完一些事先标注过的训练数据（输入和预期输出）后，这个模型对任何可能出现的输入去预测其输出。要达到此目的，学习者必须以“合理”（归纳规律）的方式从现有的数据中一般化到未观察到的情况。在人类和动物感知中，则通常被称为概念学习。
无监督学习：无指导的学习的过程，待训练的数据没有标签。聚类：机器学习算法寻找共同特征，并聚合到一起；把相似的对象通过静态分类的方法，分成更多的组别或者不同的子集，使成员具备相似的属性。
系统自由的探索，所学的内容要包括理解数据本身，而不是将这种理解用于特定的任务。通往通用智能的道路，必须有无监督学习。比如监督学习是考试，知道答案，学习后下次的目的就是考试。无监督学习是自己学习试卷，把语文、数学题分开，并不是要考100分为特定的目的。就是归纳数据，创建子集。和人类的“归纳”学习方法类似。
强化学习：强化学习（Reinforcement Learning, RL）是机器学习的一个重要分支，它主要解决的是决策问题，即让智能体（agent）在与环境的交互过程中自动进行决策以达到回报最大化或实现特定目标。
强化学习的基本框架包括四个元素：agent、环境状态、行动和奖励。智能体（agent）根据当前的环境状态（state）按照某种策略（policy）选择下一步动作（action），并从环境中得到奖励（reward）。强化学习可以分为基于值（value-based）的强化学习、基于策略（policy-based）的强化学习和演员-评论家（Actor-Critic）方法。
强化学习是一种试错方法，没有直接的标签，而是通过奖励来学习。

深度学习
神经网络模型：深度学习是机器学习中一种基于对数据进行表征学习的算法。观测值（例如一幅草莓照片）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。
深度学习的最主要特征是使用神经网络作为计算模型。神经网络模型 得名于其对于动物神经元传递信息方式的模拟。
深度，一般指神经网络的层数。一般有2-3个隐藏层；深层神经网络，隐藏层可能有150层。
深度学习 VS 机器学习：相辅相成。
特征处理：
所有机器学习：需要可准确识别且有人工提取的特征。
深度学习：从数据中习得高级特征，并自行创建新的特征

学习方法：
所有机器学习：将学习过程划分为较小的步骤。然后，将每个步骤的结果合并成一个输出。
深度学习：通过端到端地解决问题来完成学习过程，只要有输入和输出即可，不需要分为更多步骤。

数据依赖：
所有机器学习：可以使用少规模的数据做出预测，可解释性好，性能好。
深度学习：需要使用大量的训练数据做出预测，可解释性不好。

硬件依赖：
所有机器学习：可在低端机器上工作，不需要大量的计算能力。
深度学习：依赖于本身就能执行大量的矩阵乘法运算的高端机器。 GPU可以有效地优化这些运算。

最后，深层神经网络，数据量大性能越好，传统机器学习，数据量大，性能和结果扁平。

人工智能发展的成功要素
算法的进步启发人工智能的发展
2006年以来，以深度学习为代表的机器学习算法发展：卷积网络、循环网络、生成对抗网络、强化学习。

Hinton AI教父：相信大脑不是将信息存储在一个单元里面，而是分布式全息存储，坚持神经网络理论研究40年。
算法取得长足进步：1986年，Hinton在ture发表“Learning Representations by BackPropagating Errors”，第一次阐述多隐层神经网络，解决了线性不可划分难题；（表征学习）。
1989年，Hinton的学生Yann Lecun，利用卷积神经网络的技术，开发支票识别软件。
面临问题：计算性能不足、数据确实严重、问题的复杂性。

神经网络的发展现状：2006年，深度神经网络和深度学习算法，成为前沿至今。
问题突出：可解释性、网络优化、数据稀缺性、算法复杂度。

数据推动人工智能的发展
全球数据大规模增长：
21世纪头10年，互联网发展，IT蓬勃创新，大数据在互联网行业最先得到重视。
2005年，hadoop出现，大数据重大突破。
2007年，数据密集型科学出现。

Imagenet大规模数据集：
2009年，李飞飞团队发布第一个超大型图像数据库，320万个图像，目标8万个英文名词，每个500-1000个图像。
2010年，大型图像识别竞赛第一次举办。

ILSVRC竞赛—图像识别：
Top Five Category。
2012年冠军，Hinton和2个学生，错误率达到15.3%。
2015年开始错误率低于人类。

高性能计算机保驾护航：
AI芯片诞生，GPU就AI芯片的一种。
2009年，斯坦福大学的吴恩达，Large-scale Deep Unsupervised learning using Graphic Processors，参数规模达到1亿。

人工智能迅速发展的技术领域
计算机视觉
定义：Computer Vision CV，计算机如何象人类一样的看的学科。用摄影机和计算机，代替人眼，识别、监测、测量，并进一步处理，成为更适合人眼观察或仪器检测的图像。
场景：
图像分类：根据不同的语义区分图像、图像做为输入进行区分、使用深度学习和神经网络、细粒度图像分类。
应用：动物保护、目标检测、医疗诊断、鸟类保护等。
图像重建：它通过对已有的图像信息进行处理和分析，能够恢复、重建或增强缺失或损坏的图像，为各种应用领域提供高质量的图像信息。用于遥感、CT等。
目标检测：
在图像中定位感兴趣的目标，准确判断每个目标的类别，并给出每个目标的边界框。
难点和重点：小目标的高精度检测、多类别目标检测。
应用：机器人导航、自动驾驶、智能视频监督、工业检测、人脸识别等。
图像搜索：图像检索技术可以分为两类：基于文本的图像检索（TBIR）和基于内容的图像检索（CBIR）。核心在于图片特征的提取。涉及版权保护、拍照购物等。
图像分割：将数字图像分割为若干个图像子区域（像素的集合，也被称为超像素），改变图像的表达方式，以更容易理解和分析。是图像处理与理解和人工智能等多个领域中十分重要又十分困难的问题，是计算机视觉中的关键步骤。
分为三类：
语义分割：预测输入的图像的每个像素点属于哪一类标签。
实例分割：在语义分割的基础上，还要区分出同一类的不同个体。
全景分割：在实例分割的基础上，对背景的每个像素点，进行分割。
应用：医学核磁影像、遥感领域、交通领域的车辆轮廓提取。

语音技术
让智能设备能够听懂人的语音，也可以让机器说话的一种技术，涉及：数字信号处理、人工智能、语言学、数理统计、声学、情感学、心理学等；包括：语音识别技术ASR，语音合成技术TTS。
语音技术与人工智能：智能客服、智能家居等。
三个应用场景：
语音识别：目标是电脑可自动识别人类的语音为文字；语音拨号、语音导航、室内控制、文档检索、简单的听写数据录入。
语音合成：定义：采用机械的、电子的方法，实现人造语音的技术；TTS（Text-to-Speech），文语转换技术，将文本转为流利的语音。应用：人机交互、智能客服等，
声纹识别：生物认证技术的一种，根据说话人语音中生理和行为特征的语音参数自动鉴别说话人身份的一种技术。交叉运用了生理学、心理学、语音信号处理、模式识别、统计分析和人工智能综合知识。应用：移动互联网、通信、门禁等。

自然语言处理：Natual Language Processing，NLP，包括自然语言识别和自然语言生成，用途是从非结构化的文本数据中，发掘洞见，并访问这些信息，生成新的理解。
自然语言处理与人工智能：用机器来处理大规模的自然语言信息。人工智能、计算机、信息工程的交叉学科。由于语言是人类思维的证明，因此自然语言处理是人工智能的最高境界，被誉为“人工智能皇冠上的明珠”。
应用场景：
文本分类：Text Categorization，将文本按照一定的分类体系或者标准自动的分类打标签。新闻分类、邮件自动回复、广告过滤、内容审核等。
机器翻译：Machine Translation，属于计算机语言学的范畴，利用计算机程序将文字或者演说从一种语言翻译成另一种语言。使用一种基于语言规则的语法，文字依据语言学的规则来翻译，即1个最合适的目标语言的字词将会替代源语言。
成功的关键：能够优先解决对自然语言的正确认知和辨识。
应用：在线多语言翻译、语言同传、翻译机（微信翻译等）、跨语言检索。
知识图谱。
对话系统：Dialogue System，对话系统，也称会话代理，一种模拟人类与人交谈的计算机系统，旨在可以与人类形成连贯通顺的对话，通信方式主要有语音/文本/图片，当然也可以手势/触觉等其他方式。
类别：任何导向型对话系统和非任务导向型对话系统（聊天机器人）。
应用：聊天机器人、语言助手、智能客服。
信息检索。
文本生成。

人工智能使用最多的语言：Python，需要一些数学基础、机器学习的原理，以及应用场景（机器视觉）和文字识别。
人工智能的应用，指纹识别、刷脸解锁、金融、零售、教育、医疗、交通等。
指纹和刷脸解锁：样本采集、图片和纹路识别，转换数字信号，样本对比。
数据和技术的基础：数据的成熟度和技术的成熟度。
人工智能的应用基础：场景清晰度和AI应用历程。
看组织机构战略和文化。

使用率最高的行业：金融
金融行业场景：智能风控、智能支付、智能理赔、智能投研、智能投顾。

零售行业：设计、电商、供应链管理、收益管理、生产制造、线下。人工智能提升零售全流程运行效率，优化消费者体验。
智慧零售：提升全流程运行效率，提升用户体验
设计：配色参考、图片分析
电商：以图搜图、智能推荐
供应链管理：仓储设计、库存管理、区域划分、运输路径优化
收益管理：定价策略
生产制造：拍摄样品、智能质检
线下零售：选址、识别商品、智能监督、优化商品摆放、流量统计分析

智能教育（AI + 教育）：深入到学习的各个环节。最外围：伴读、搜题。次外围：测评，例如流利说。核心：起步阶段。关键场景：获取学习资料、沟通、测评、教学辅助、教学认知和思考、分层排课、图像识别批改阅卷等。

智慧医疗：从影像分析、辅助诊疗、健康管理等角度做好医患助手。
语言输入病例、影像分析（病灶识别、降低误诊、减少重复劳动、帮助医生发现罕见病）、综合性诊疗（虚拟医生、利用自然语言处理、知识图谱、计算机视觉、推理、诊疗）、健康管理（健康监测、预测）、医疗机器人（手术、康复机器人、提高精度）、药物研发（降低发现候选药物时长、降低新药研发成本）等。

智慧制造：助力生成制造优化、减少重复劳动、实现智能制造。
设备健康管理：基于特征分析和机器学习，进行设备故障预测和全生命周期管理，进行预测性维修，让设备长期受控，降低维保费用。
智能质检：利用计算机视觉进行产品缺陷检测，降低人工成本，提升品质。
工艺参数性能优化：结合专家经验和智能分析，挖掘数据背后的规律，调整工艺参数。
3D（智能无序）分拣运输机器人：借助3D视觉，物品识别、姿态估认、尺寸测量、运动规划，例如抓取不规则物品，且有效放置。

智慧健康：降低健康管理成本，实现交互革命，增强人类功能。健康数据管理、低成本康复管理、变革多维交互体验（AR/VR）、智能化康复设备制造、个性化增强人类功能（AI干预自闭症等）。

智慧交通：拥堵分析、路线优化、智能调度、辅助驾驶；交通信号灯智能匹配、车道偏离预警、碰撞预警、夜间辅助等。
航空优化：航线网络优化、机组排班优化、收益管理等。
自动驾驶：限定场景的自动驾驶。
共享单车：智能分析热力图、调度策略、未来需求预测、提升平台运营效率等。

人工智能的发展
政策支持人工智能走向泛在：分为四个阶段。
探索阶段：2012~2014
第一阶段：2015~2016，出标准，积累技术，市场热度上涨。
第二阶段：2017~2018，上升为重要战略
第三阶段：2019，强调与实践深度融合
第四阶段：2022~至今，如今人工智能上升为新基建。

需求：应用场景持续涌现。转型需求：人工红利转型为创新红利。
场景丰富：找大规模、多样——数据资源大。
抗疫：疫情常态化，无接触是重点。

供给：智能产业生态不断丰富。
技术：从实验室走向大规模的商用，从芯片、深度学习算法到AI几大应用领域。
数据：数据正式成为重要的生成要素，大数据推动AI算法不断优化，智能离不开数据。
市场：供需互相促进的正向市场环境建立，数据记录——模型优化——应用升级。
资本：走出炒作泡沫，聚焦价值领域。
平台：大厂普遍开放平台生态。

AI走向泛智能：智慧+、AI新基建、智能底座。

艾伦图灵，1936年发布《论可计算数及其在判定问题上的应用》，提出算法和计算机两个概念。1950年发布论文《计算机与智能》，提出了“图灵测试”。
1956年美国达特茅斯会议“人工智能”概念诞生。人工智能（Artificial Intelligence）是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新技术科学。人工智能是对人的意识、思维的信息过程的模拟，人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。根据对环境的感知做出合理的行为并做出做大收益。
人工智能三个层面：计算智能（能算能存）、感知智能（能听能说，能看能认）、认知智能（能理解，会思考）。
计算智能，快速计算和记忆存储，速度较快占领高地。1996年国际象棋大师卡斯帕罗夫4:2击败IBM深蓝，但1997年输给了深蓝。
感知智能，能听能说，能看会认，具备听说读写的能力。人工智能比人类智能更具优势，可以主动感知，比如BigDog、自动驾驶汽车等，充分利用深度神经网络和大数据的成果。
认知智能，能理解、思考、决策，具备概念、意识、观念都是认知智能的表现。人工智能开始主动开展探索，在一定程度上模拟人类的创作过程。

现阶段实现AI的基本方法及技术领域。
从技术应用场景展开，包括计算机视觉、语音识别、自然语言处理等概念。
从实现AI的技术工具和方法论展开，机器学习是是实现AI的最大技术工具集，包括监督学习、无监督学习、强化学习。其中深度学习是机器学习最重要的分支，实现AI效果最佳，深度学习的核心是神经网络的算法技术。

名词解释：
人工智能(Artificial intelligence)：人工智能亦称智械、机器智能，指由人制造出来的机器所表现出来的智能。通常人工智能是指通过普通计算机程序来呈现人类智能的技术。
算法(Algorithms)：在数学(算堂)和计算机科学中，一个被定义好的、计算机可执行的有限步骤或次序。常用于辻算、数据处理和自动推理，例 f(x)=y。

机器学习（Machine learning）：设计和分析一些让计算机可以自动“学习”的算法。机器学习是一类从数据中自动分析获得规律并利用规律对未知数据进行预测的算法。
深度学习（Deep learning）：是机器学习中一种基于对数据进行表征学习的算法。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。
神经网络（NN）：现代神经网络是一种非线性统计性数据建模工具，神经网络通常是通过一个基于数学统计学类型的学习方法得以优化，所以也是数学统计学方法的一种实际应用，
监督学习（Supervised learning）：机器学习的一种方法，可以由训练资料中学到或建立一个模式(函数/learning model)，并依此模式推测新的实例。
无监督学习（Unsupervised learning）：机器学习的一种方法，没有给定事先标记过的训练示例，自动对输入的资料进行分类或分群。

人工智能特点：厚基础、重交叉、宽口径。
学科领域：数学与统计、科学与工程、计算机科学与技术、人工智能核心、认知与神经科学、先进机器人技术、人工智能与社会、人工智能与平台。