包含关键字 确认 的文章

9.3 定义范围(define scope)
针对需求明确要做哪些事不做哪些事,描述产品、服务、成果的边界和验收标准。
定义范围需要从需求文件中选取最终的项目需求,需要多次反复开展定义范围的过程。

输入:
项目章程(有成功标准和验收标准,高层级描述、产品特征等)、需求文件、项目管理计划、项目文件(需求文件、假设日志)、环境

工具与技术:
产品分析:将高层级产品描述转变为有型的可交付成果,包括产品分解、系统分析、需求分析、系统工程、价值工程、价值分析等。
备选方案分析:制定尽可能多的备选方案。
决策:多标准决策分析
人际关系与团队技能:引导,协调不同专业知识的干系人,达成跨职能的共识。

项目章程英文(project charter)
输出:范围说明书(project scope statement),是对项目范围、主要可交付成果、假设条件和制约因素的描述,作用:记录了整个范围包括项目和产品范围,描述了项目可交付成果,还代表干系人之间就项目范围所达成的共识。为了便于干系人期望,可明确指出哪些工作不属于项目范围内。(背诵)

2025-08-22T10:25:49.png

9.4 创建WBS
项目范围说明书,文件内容不直观,但图表达更为直观。将文字转化为WBS图表。
WBS(work breakdown structure),工作分解结构,每一个组件就是一个可交付成果,最底层的80小时可完成的可交付成果,称为 工作包。
WBS定义:把可交付成果分解为工作包,组织并定义了项目总范围。包括工作包(80小时内完成的可交付成果)、规划包(工作内容已知,但详细进度活动未知,是低于控制账户高于工作包的结构组件,体现滚动式规划)和控制账户(针对每个wbs组件,详细描述可交付成果、活动和进度信息的文件,有助于评价变更的影响)。

工具与技术:重点,曾考过10次,背诵。
分解:把项目范围和可交付成果逐步划分为更小,更便于管理的组成部分的技术。
1,识别和分析可交付成果,依据是项目范围说明书;2,确定WBS的结构和编排方法,可参考范围管理计划,里边都是指南;3,自上而下逐层分解;4,为WBS组件定制和分配标识编码。5,核实可交付成果分解的程度是否恰当。
工作包:WBS最底层组件,对其成本和持续时间进行估算和管理。
创建WBS,就是将整个项目工作分解为工作包。

WBS结构三种形式
1,每一层都是可交付成果
2,把项目生命周期的各个阶段放到第二层,其他层都是可交付成果。
3,纳入由项目团队以外的组织开发的各种低层次组件(比如外包),做为外包工资的一部分,卖方需要定制相应的合同WBS。

8个注意事项:
1,WBS是面对可交付成果;
2,必须符合项目范围(100%原则),所有下一级元素之和必须100代表上一级元素;
3,wbs底层要支持计划和控制——支持项目管理计划、进度和预算的控制;
4,元素必须只有1个人负责(独立责任原则);
5,WBS控制在4~6层,如果超过6层需要继续分解;
6,wbs应包括项目管理工作,也要包括分包出去的工作;
7,wbs编制需要所有(主要)干系人参与;
8,wbs并非一成不变。渐进明细的。

控制账户
是一个管理控制点,人为设定的,可以与组织的财务程序连接,在该控制点上,把范围、预算和实际成本、进度加以整合,与挣值做比较,以测量绩效。
每个控制账户可能包含一个或者多个工作包,但一个工作包只属于一个控制账户。
控制账号设置在较高层次或者较低层次上,就表明项目管理团队想要对项目实施“粗管” 还是 “细管”。

输出:
范围基准
经过批准的项目范围说明书、WBS、WBS词典,只有通过正式的变更程序才能进行变更,它被用作比较的基础。
记录了整个范围,包括项目和产品范围。

9.6,控制范围,监控过程组
控制范围(control scope):监督项目和产品的范围状态,管理范围基准变更的过程。
作用:在项目期间保持对范围基准的维护,确保所有变更请求、纠正措施、预防措施都通过实施整体变更控制过程进行处理。

输入:
项目管理计划、需求文件、工作绩效数据(执行过程中收集的第一手工作数据表数据,接受的变更的数量,核实确认和完成的可交付成果数量 )、组织过程资产
工具与技术:
数据分析:
偏差分析,将基准和实际结果做比较,确定偏差是否处理临界值区间内或是否有必要纠正或预防措施。
趋势分析:审查项目绩效随着时间的变化情况,判断绩效是否正在改善或恶化。
输出:工作绩效信息、变更请求、项目管理计划更新、项目文件更新。

9.5 确认范围,监控过程组
确认范围(validate scope)客户或者发起人正式验收已完成项目的可交付成果的过程。
作用:使验收具有客观性,通过确认每个可交付成果,来提高最终产品、服务或成果验收的可能性。
确认范围需要检查的问题:
1,可交付成果是否是确定、可确认的。
2,每个可交付成果是否有明确的里程碑,是否有明确可辨别的事件。
3,是否有明确的质量标准。
4,审核和承诺是否有清晰的表达。
5,项目范围是否覆盖了需要完成的产品或服务所进行的所有活动,有没有遗漏或者错误。
6,项目范围的风险是否太高,管理层能发能够降低可预见风险发生时对项目的冲击。

干系人的关注点(重点):
1,管理层,关注范围对进度、资金和资源的影响,是否超出了组织承受范围,投入产出是否合理。
2,客户,关心产品范围,项目的可交付成果是否能够完成产品或服务。
3,项目管理人员,关注可交付成果是否能够和必须完成,时间、资金和资源子否足够,主要的潜在风险等。
4,团队成员,关心自己参与和负责的元素,检查工作时间是否足够。
另外,客户和团队成员往往有在当前版本中加入所有功能和特征的意愿,是一种潜在风险。

输入:
核实的可交付成果:是验收的对象,已完成冰杯控制质量过程检查为正确的可交付成果。来自于质量管理中 控制质量的子过程。
项目管理计划:包括 范围管理计划(定义了如何验收可交付成果)和需求管理计划(描述了如何确认项目需求),以及范围基准(用基准和实际结果做比较)。
项目文件:需求文件(将需求和实际结果比较)和需求跟踪矩阵(含有和需求相关的信息,包括如何确认需求)。相当于反向验证。

技术与工具:
检查(审查、产品审查、巡检),查的是结果。开展测量、审查与确认等,判断工作和可交付成果是否符合需求和产品的验收标准。验收测试是一种典型的确认范围的技术。检查查结果,审计审过程。

输出:
验收通过,则输出:验收了的可交付成果:符合验收标准的可交付成果由客户或者发起人签字批准。
从客户或发起人获得正式文件,证明干系人对交付成果的正式验收。

验收不通过:
输出:变更请求,按照步骤:1,记录原因;2、提交变更申请流程;3、缺陷补救。

范围管理,需求。

根据协议或者其他强制性规范,项目必须满足的条件或者能力、产品或成果必须具备的条件或者能力。需求包括发起人、客户、和其他干系人已量化且书面记录的需要和期望。

业务需求、干系人需求、解决方案需求、过度需求、项目需求、质量需求

产品范围——某项产品、服务或者成果(可交付成果)所具有的性能和功能。决定了项目范围,自身变化不一定引起项目范围的变化,不包含项目范围,依据是产品需求文件(SRS)。
项目范围——为了交付具有规定特性与功能的产品、服务或者成果必须完成的工作。服务于产品范围,自身变化不一定会引起产品范围的变化,广义上也包括了产品范围,依据是项目管理计划(范围基准)。

范围蔓延(需要走变更流程)——范围镀金、范围潜变
镀金——项目人员(主动)为了讨好客户而做的不解决实际问题、没有应用价值的项目活动。
范围潜变——客户不断提出小的、不易察觉的范围改变,不加控制的话累计导致项目偏离既定基准,导致项目失控甚至是失败。
范围蔓延:未对时间、成本和资源做相应的调整,未经控制的产品或项目范围的扩大。
来自团队内部原因造成的蔓延叫“镀金”,来自外部原因造成的蔓延叫“范围潜变”。

敏捷和适应型环境里需要考虑的因素:在每个班迭代器开始定义需求范围。

1.png

9.1 规划范围管理,创建如何管理需求和范围的子计划,属于规划过程。
为了记录如何定义、确认和控制项目范围及产品范围而创建范围管理计划的过程。
作用:在整个项目期间对如何管理范围提供的指南和方向。
输入:
项目章程(项目目的、描述、假设条件、制约因素以及项目实现的高层级需求)、项目管理计划(质量管理计划、项目生命周期描述、开发方法)、环境事业因素、组织过程资产。
工具与技术:专家判断、数据分析、规划会议
输出:
范围管理计划,描述如何定义、制定、监督、控制和确认项目范围
如何制定范围说明书、如何根据范围说明书创建WBS、如何审批和维护范围基准,如何确认和验收已完成的项目可交付成果。
注意:范围管理计划无范围(都是描述如何管理范围,没有描述哪些范围);有助于降低范围蔓延的风险。可以是详细的也可以是概括的。
需求管理计划:指导如何分析、记录和管理需求。需求管理计划无需求。
内容包括:如何规划、跟踪、报告各种需求活动,需求相关的培训计划,等。

所有XX管理计划中都有的通用内容,如:
XX管理会用到哪些工具和方法论;
XX管理用什么格式、多少频率进行汇报;
XX管理中定了哪些岗位职责;
XX管理预算花多少钱做,花多少时间做。

9.2 收集需求
为实现项目目标而确定、记录并管理干系人的需求和需求的过程。
作用:为定义和管理项目范围(包括产品范围)奠定基础。
输入:项目管理计划、项目立项管理文件(项目建议书、可研报告、评估报告、商业报告等)、项目章程、项目文件(干系人登记册——需求来源,经验教训登记册——如果收集需求)、协议。

工具与技术:
1、专家判断;2、数据收集(头脑风暴、访谈、焦点小组、问卷调查、标杆对照);3、决策;4、数据表现;5、人际关系技能;6、原型法
访谈,与干系人直接交谈。结构式—事先准备好一系列问题,有针对的进行。非机构化—只列出一个粗略的想法,根据访谈具体情况发挥。
关键词:直接交谈、预设和即兴问题、深入了解、一对一、一对多、获取机密和敏感信息。
焦点小组:由一位受过训练的主持人引导预先选定的干系人和主题专家进行互动式讨论。
是一对多的群体访谈,最终获取更有价值的集体意见,参加者多是同职能、同一领域、或有相似背景的人。
引导:和研讨会结合使用,通过讨论来定义需求。能快速定义跨职能需求和协调干系人差异,着重于形成既定目标的一致意见。
关键词、跨职能、不同部门、协调干系人差异、联合开发、用户故事等。
问卷调查:受众多样化,快速完成、成本低、地理位置分散、适合开展统计分析
缺点:缺乏灵活性、无法了解细节,干系人不重视,真实性差
观察(工作跟踪):直接查看个人如何工作和实施流程。关键词:直接观察、难以或者不愿意被说明、挖掘隐藏需求。
原型法:步骤:1、模型创建2、用户体验3、收集反馈 4、原型修改;
关键词:减轻返工风险、渐进明细、敏捷、故事板
使用场景:需求不确定或者需求多变的情况下,可以使用原型法

标杆对照:将实际或计划的做法,跟行业内外的可比组织的做法进行比较,进行识别最佳时间、形成改进意见,并为绩效考核提供依据。
关键词:可比组织、内外部、识别最佳实践、形成改进意见、为绩效考核提供依据。
系统交互图:拓扑图、可视化
文件分析:分析现有文件
头脑风暴,单纯的收集创意,不进行分析或者排序。
原则:庭外判决原则,追求数量、各抒己见、自由发炎、探索取长补短和改进方法
关键词:畅所欲言、单纯收集、尽可能多、尽可能激发。
名义小组:投票、排序,促进头脑风暴。
概念/思维导图,从头脑风暴中获得的创意组合成一张图,反应创意之间的共性和差异,激发新创意。
关键词:整合、反应共性和差异、激发新创意、图文并重,是头脑风暴的深化应用。
亲和图:根据头脑风暴的创意,按照相似性进行分组,进行下一步审查和分析。
关键词:分组、有助于WBS制定。
决策:一致同意、大多数原则、相对多数原则、独裁。
多标准决策分析:也叫优先矩阵,角逐决策分析矩阵,用系统方法建立多种标准,可用于识别关键事项和合适的备选方案,并通过一些列决策对众多备选方案进行评估和排序。
关键词:多种标准、权重、评估、排序。
德尔菲技术:组织专家就某一个主题达成一致意见的一种信息收集技术。
缺点:过程复杂,花费时间长。
关键词:专家、匿名、多轮、趋同、消除偏见。

输出:
需求文件:描述各种单一需求将如何满足与项目相关的业务需求。(例如SRS文件,需求规格说明书)。只有明确(可测量和测试的)、可跟踪的完整的、互相协调的,且主要干系人认可的需求,才能做为基准。
需求跟踪矩阵(二维):把需求从来源链接到能满足需求的、可交付成果的一种表格。
把每个需求与业务目标或者项目目标联系起来。提供了在整个项目生命周期中跟踪需求的一种方法。
用户需求说明书→需求规格说明书→可交付成果;
漏需求:需求蔓延 或者 需求文件没有更新。
**需求跟踪内容包括(背诵):
业务需求、机会、目的和目标;项目目标;项目范围(WBS可交付成果);产品设计和开发;测试策略和测试场景;从高层次需求到详细需求。**

1.png

8.4 管理项目知识(使用现有知识,生成新知识)(执行过程)
使用现有的知识并生成新知识,以实现西安航母目标,并帮助组织学习的工程。
作用:利用已有的组织知识来创造或改进项目成果。并使用当前项目创造的知识可用于支持组织运营和未来的项目或者阶段。
显性知识:易使用文字、图片和数字进行编撰的指示,特点:缺乏情境、可作不同解读。易分享易保存,无法确保正确理解或应用。
隐性知识:个体知识以及难以明确表达的只是,如信念、洞察力、经验和诀窍。
特点:蕴含情境,很难编撰,通常由人际交流和互动来分享。
注意点:
组织角度来看:在项目开始前、开展期间和结束之后都能使用旧知识、生成新知识。
最重要的环节:营造信任氛围、激励人们分享自己的知识和关注他人知识。
输入:
资源分解结构:包含团队组成信息,有助于了解团队拥有和缺乏的知识。
项目团队派工单:说明项目已具有的能力和经验以及缺乏的知识。
干系人登记册:有助于了解干系人可能拥有的知识。
供方选择标准:有助于了解供方有的知识。
工具与技术:知识管理(分享隐形知识,例如分享会、专家讲座、会议、培训等)、信息管理(分享显性知识,例如登记册、图书馆、信息管理系统等)、人际关系与团队技能(倾听、引导、领导力、人际交往、大局观)
输出:
经验教训登记册,包括情况的类别和描述;与情况相关的影响、建议和行动方案;遇到问题、挑战、意识到风险和机会或者其他适用的内容。

8.5 监控项目工作 汇编各类绩效信息,生产绩效报告(监控过程)
跟踪审查和报告整体项目进展,以实现项目管理计划中确定的绩效目标的过程。
作用:让干系人了解当前状态并认可委处理绩效问题而采取的醒的,通过成本和进度预测,让干系人了解未来项目的状态。
监督:包括收集、测量和分析测量结果,以及预测趋势,以便推动过程改进,贯穿项目始终。
控制:包括制定纠正和预防措施或者重新规划,并跟踪计划实施的过程,确保能有效解决问题。
输入:
项目管理计划、项目文件、工作绩效信息(将绩效数据和项目管理计划组件、项目文件和其他项目变量比较后生成工作绩效信息。绩效包含:范围、成本、进度、质量以及其他内容。)、协议、环境事业因素、组织过程资产。
输出:
变更请求、工作绩效报告、项目管理计划更新、项目文件更新。
工具与技术:挣值分析、偏差分析、趋势分析、根本原因分析、备选方案分析、成本效益分析。
决策:投票
输出:工作绩效报告
基于工作绩效信息,以实体或者电子形式编制工作绩效报告,以制定决策、采取行动或引起关注。根据项目沟通管理计划,通过沟通向项目干系人发送工作绩效报告、状态报告和进展报告。

8.6 实施整体变更控制(对项目中所有的变更流程审批),监控过程。
作用:审查所有的变更请求、批准变更、管理变更,并对变更结果进行沟通的过程。
确保项目中已记录在案的变更做总和评审,降低项目风险,本过程只会审批、管理变更,不会提出变更请求。
输入:项目管理计划、工作绩效报告、变更请求、项目文件、事业环境因素、组织过程资产。
输出:批准的变更请求(来自于任何一个过程)、项目管理计划变更、项目文件更新(变更日志等)。
工具与技术:专家判断、变更控制工具、数据分析、决策、会议(变更控制会)。
注意点:整个项目期间任何时间、任何干系人都可以提出变更请求。
可以口头提出,但所有变更要以书面形式记录,纳入更变管理或配置管理系统中。
每个变更都必须由一位责任人批准、推迟或者否决,在项目管理计划或者组织程序中制定该责任人,必要时,由变更控制委员会(CCB)开展实施整体变更控制的过程。
变更请求可能影响任一项目基准的情况下,都需要开展正式的整体变更的控制过程。
实施整体过程过程贯穿项目始终,项目经理对此负最终责任。

变更控制委员会(CCB):一个正式的团体,负责审议、批准、推迟或者否决项目变更,以及记录和传达变更处理决定。
可以是一个,也可以是多个人,由主要干系人组成,通常包括用户和项目所在组织管理层的决策人员。
CCB不是必须有,也不是所有的变更的请求都必须有CCB审批。
变更的八个步骤(重要):
1、提出与记录变更申请:由PM或者CMO(配置管理员)负责变更信息的收集及初审。
2、初审变更:施加影响确保变更必要性,校验确保信息充分,达成共识。
3、评估论证变更方案:论证可行性,如可行则将技术要求转为资源需求。
4、提交CCB审查:文档会签,正式会议。
5、更新、通知并组织实施变更:若交付期调整,应变更确认时发布变更。
6、变更实施的监控:PM负责基准的监控,CCB或者监理监控主要成果和里程碑。
7、变更效果的评估:由团队和客户两部分人,是否满足需求,目标是否达成。
8、变更收尾:判断变更后项目是否纳入正轨。

2.png

实施整体变更控制——输入:项目管理计划
变更管理计划:为管理变更控制过程提供指导,并记录CCB的角色和职责。
实施整体变更控制——输入:工作绩效报告(评估影响和方案)
此过程有用的工作绩效报告包括:资源可用情况、进度和成本数据、挣值(EVM)报告、燃烧图燃尽图。

工具:变更控制工具
工具:会议,通常指变更控制会议,可由变更控制委员会CCB开会审查并请求,做出批准、否决或者其他。

输出:批准的变更请求
批准后应由指导语项目管理工作过过程加以实施。
对于推迟或者否决的变更请求,应通知提出人或者提出小组。
输出:项目管理计划更新
对于基准的变更,针对今后的情况,不能变更以往的绩效,保护基准和历史绩效数据。
输出:项目文件更新
正式受控的任一项目文件都可以在实施整体变更控制过程变更,并记录在变更日志中,被否决的变更请求也要记录在变更日志中。

8.7 结束项目或阶段:阶段或者项目整体的验收移交收尾
终结项目、阶段或者合同的所有活动的过程。
作用:存档项目或阶段信息,完成计划的工作;释放团队资源以开展新的工作。
收尾流程:6+2的步骤。
正常收尾:
获得项目或阶段的整体验收、干系人满意度调查、移交成果、总结记录经验教训、组织过程资产更新、文件归档、庆功会、释放资源
提前收尾:
记录终止原因、干系人满意度调查、移交已完成和未完成的成果、总结记录经验教训、组织过程资产更新、文件归档、庆功会、释放资源

输入:项目章程,记录了项目成果标准、审批要求以及谁来签署项目结束。
输入:验收的可交付成果,包括批准的产品规范、交货数据和工作绩效文件,对于分阶段实施的项目或提前取消的项目,还可能包括部分完成或者中间的可交付成果。
输入:立项管理文件,可研报告记录了做为项目依据的商业需求和成本效益分析。项目评估报告概述了项目的目标效益。
输入:协议,通常在合同条款中定义了正式关闭采购的要求,复杂项目中需要管理多个合同。
输入:组织过程资产,项目或阶段收尾指南或要求,如经验教训、终期审计、项目评价、产品确认、验收标准等。

工具:专家判断,具备管理控制、审计、法规与采购法律法规等专业个人的意见。
工具:会议,用于可交付成果的验收、确定达到退出标准、关闭合同、干系人满意度调查,收集经验教训,传递项目信息以及庆功会等。

输出:最终产品、服务或者成果。
把项目交付的最终产品服务或者成果(对于阶段收尾,中间阶段的产品服务或成果)移交给客户。
输出:项目最终报告,用最终的报告总结项目绩效。
收尾文档:项目验收计划、项目验收单、项目验收报告、项目经验总结汇总单、项目建设总结报告、用户操作手册。
3.png

机器学习开发任务实例
特征工程与机器学习——搭建一个机器学习模型,人工设计特征:实际工作中,特征比模型本身更重要。
分三步:预处理,去除噪音,例如文本中的停用词;特征提取,从原始数据中提取一些有效的特征。例如图像分类中,提取边缘、尺度不变特征变换特征等;特征转换,对特征进行一定的加工,例如升维和降维。
训练模型和测试模型:训练过程和测试过程完全独立。

开发实例:
明确任务背景和目标:
任务背景:房地产中介在交易中,给房屋进行一个合理报价,让房东和买家进行参考。
任务目标:根据已有的交易数据,训练模型,预测房屋的价格。
任务过程解析:制作数据集,数据准备、数据预处理、数据集划分;特征工程,数据理解、特征分析、特征构造;模型训练,模型优化;模型评测,输出测试集指标、判断模型可用性。

制作数据集:
数据准备:字段、数据内容等。
数据预处理:脏数据处理、缺失值处理(步骤:检查是否有确实、根据业务情况制定处理规则,取0最小值及中位数等、完成缺失值的填充)、格式转换(文本转换为数值,方法是字符串序列化,思路将字符串用同一的编号来代替)。
划分训练集和测试集:训练集用于训练,测试集对泛化效果进行评估。
特征工程:
数据理解:查看样本数据的均值、最大值、最小值、数量、标准差等;查看更详细的数据分位数信息;通过观察加深数据理解,为建模做准备。
特征分析1:通过图分析每个特征与结果的对应关系。
特征分析2:找出现有特征中,与价格的关联度(正数正相关,负数负相关,绝对值大小体现相关性),例如:房间数越多,价格越高;税率越高,价格越低;要去掉不相关的特征,收敛的更快。
特征分析3:对房间特征进行深入的分析。
特征分析4:尝试对特征之间建立关联,房屋数和老旧比例没有关联,就可以去掉1个关联特征,例如去掉老旧房屋比例(价值低)。
特征构造1:特征归一化,将所有特征区间调整为0~1之间。
特征构造2,:使用与价格关联度最大的“房间数”,和其他特征,构造二次特征,房间数税率,房间数环保指数。

模型训练:
训练过程1:按照8:2的比例将训练集数据划分为训练集和验证集。
训练过程2:线性回归;loss,损失函数、误差函数,即用1个标量来标示的训练集标签与真实标签之间的差距;MSE,均方差,参数估计值与参数值之差平方的期望值。
模型优化:
过程:模型调参,选择其他模型。
案例:选择LinearRegression后,MSE从22下降到12,因此选择新的模型。取前20个验证集数据,标注好数据与实际房价对比关系。
模型测评:使用训练好的模型,对预留的测试集数据,评测,得到MSE35。模型交付。

深度学习开发任务实例
深度学习 VS 机器学习
神经网络模型特点:端对端学习,从人类专家知识驱动AI方法论——>有监督大数据驱动的AI方法论,推动了一大类非线性映射函数问题的解决,从人工编码知识到从数据中学习知识,分而治之到全盘考虑,重算法到重数据。
实现方式的对比:
机器学习为图片分类的方法:要训练出一个分类器(非线性分类器)。
深度学习的特征提取方法:卷积,卷积是通信与新信号处理中的重要概念,在线性系统里,卷积用来描述输入信息,脉冲响应和输入信息的关系。
满足线性性和平移不变性,线性性:2个信号分别卷积再加起来,等价于先加起来,再卷积。平移不变性:先平移再卷积和先卷积再平移,是同样的结果。
机器学习:利用算法使计算机能够像人一样从数据中挖掘信息。
深度学习:相比其他方法参数更多、模型更复杂,使得数据对模型理解更深、更智能。
多隐层的深度神经网络介绍:以图像识别为例,构建一个含有2个隐藏层的前馈神经网络,学习的是神经元中的权重参数,神经网络会开发各类特征提取器,信息会被进一步压缩和抽象,卷积神经网络在语音识别和图像处理上有优势,全局共享降低网络的复杂性。

深度学习开发实例(以识别交通指示牌为例)
任务背景和目标
背景:玩具车增加识别交通指示牌的能力。
目标:利用玩具车的前置摄像头,检测交通标志的位置。
任务解析过程:明确数据采集需求、制作数据集、模型训练、模型评测。

任务需求梳理:
计算机视觉实际应用特点:
样本具象化,图像是具体表现形式,除了主体外,还有大量的信息,如背景,光照等。
算法光线敏感:侧光,面向光,背光,强光,暗光,都有影响,如果样本没有这些光线的图片,效果会欠佳。
硬件条件可能造成的图片效果偏差:带来色差、模糊、角度变化,样本如果没有这些资料,效果会欠佳。
客户理解偏差:不理解光线影响,不能清晰的表达述求,都在需求梳理时摸清,否则影响交付。

明确数据采集需求1:赛道样式,看是否有和标志类似的图案。
沟通结果:赛道样式统一、可能出现的赛道变形、转完也要能检测、有特殊标记比如结束标记行人横道等。
明确数据采集需求2:确认使用场地和光照情况;说明模型使用场景和光照;沟通过室内、侧面正面光源以及信号灯的影响等。
明确数据采集需求3:待确认需要检测的交通标志的俯仰角(pitch)、偏航角(yaw)、翻滚角(roll),明确交通标志倾斜角度范围,翻滚角:由于交通标志底部是硬座且不需要考虑交通标志倒地情况,所以翻滚角基本一致。考虑到摄像头可能的固定倾斜,此处角度设定为士10°府仰角:俯仰角可能会收到摄像头俯视情况影响,在距离远近有差异,由于摄像头视角较平,所以角度也认为 士10°偏航角:由于仿真交通标志容易被撞击发生位移,偏航角要求较高,希望在人眼可区分边界情况下均可完成检测,此处认为是 士70°,如下图最左侧与最右侧的标志。
明确数据采集需求4:待确认需要检测的交通标志包含哪些。说明详细列举所有要被检测的交通标志,未被列举的标志不会被识别以及交通标志的数量越多采集工作量越大。
沟通结果包括:1.交通标志有红、黄、绿三种颜色光;2.小人的手部会有举起、放下、平伸三种状态;3.小人存在正面、侧面、背面三种站姿。
明确数据采集需求5,待确认检测覆盖范围,需要明确范围细节,例如:1.是否包含杆体2.边缘出框情况等。
沟通结果:1.对于交通标志牌子,标注范围是交通标志牌所处范围即可。2.对于交通信号灯,标注范围是灯亮的区域。3.对于行人,标注范围是整个行人范围。4.对于边缘出框的场景,如果出框范围不超过50%,也应当予以检测。
待明确检出框分类,说明是否要对每个框体单独检出。
明确数据采集需求6,待确认需要检测的交通标志的最小框;说明需要检测的交通标志的最小框最小框越小,运算量越大,执行效率越低;同时,太小的检测框容易使标注误差变大。沟通玩具车速度较快,需要检测到距离车2米的标志,为后续的小车操控预留时间。
待确认对图片模糊程度的要求,说明实际操作中摄像头模糊效果容忍程度怎样;沟通玩具车摄像头帧率较高,且有处理算法,糊程度实际测试下来最大模糊程度。
待确认设备色差情况,说明是否存在设备色差,沟通摄像头较好,无需考虑摄像头色差,但是在部分场景下可能产生由环境光引起的色域变化和噪点。

制作数据集
数据采集,根据确认的需求,采集对应的图片,图片采集需要注意:使用真实的玩具车进行数据采集、覆盖不同场景、涵盖所有可能的光照情况、涵盖所有可能的交通标志,推动了一大类 非线性映射函数学习问题的解决。
采集数量:根据任务要求不同略有差异,玩具车场景任务较为简单,总计采集1万张图片。
采集方式:让小车在不同场景形式,使用摄像头录制视频,然后将每帧导出为jpg格式图片。

数据标准
工具:开源工具labelme。方法:将所有的交通标志类别命名为traffic、使用矩形对所有图片依次标注。注意:人工标注,矩形框要准确,否则数量再大,效果也不好。
保存格式,yolo目标检测工具,每秒处理45帧图像。保存两个文件,图片同名txt存放标注数据;classes.txt,存放标注类别。
检验,检验标注任务质量,抽查比例由具体任务决定,在标注工具中点击空格将其背景转换为绿色。
数据集拆分,将所有数据按照8:2的比例拆分为训练集(800张)与测试集(2000张)。训练集将提供跟算法组用于模型训练,测试集将提供给测试组用于验证数据的泛化效果。要用随机采样的方式划分,确保独立。

模型训练
检测算法原理1,多隐层的深度神经网络,采用yolo模型。
检测算法原理2,预处理,滑动窗口或分隔等;特征两类信息;和图片去对比,选择出一个最好的;不断拟合,差别越来越小。
训练过程:使用训练集进行训练,同步观察输出结果。

模型测评
效果与指标,使用测试数据。
困难样本考察,边缘情况,确实部分图片,手势,色差,困难样本数据。

人工智能发展的成功要素
算法的进步启发人工智能的发展
2006年以来,以深度学习为代表的机器学习算法发展:卷积网络、循环网络、生成对抗网络、强化学习。

Hinton AI教父:相信大脑不是将信息存储在一个单元里面,而是分布式全息存储,坚持神经网络理论研究40年。
算法取得长足进步:1986年,Hinton在ture发表“Learning Representations by BackPropagating Errors”,第一次阐述多隐层神经网络,解决了线性不可划分难题;(表征学习)。
1989年,Hinton的学生Yann Lecun,利用卷积神经网络的技术,开发支票识别软件。
面临问题:计算性能不足、数据确实严重、问题的复杂性。

神经网络的发展现状:2006年,深度神经网络和深度学习算法,成为前沿至今。
问题突出:可解释性、网络优化、数据稀缺性、算法复杂度。

数据推动人工智能的发展
全球数据大规模增长:
21世纪头10年,互联网发展,IT蓬勃创新,大数据在互联网行业最先得到重视。
2005年,hadoop出现,大数据重大突破。
2007年,数据密集型科学出现。

Imagenet大规模数据集:
2009年,李飞飞团队发布第一个超大型图像数据库,320万个图像,目标8万个英文名词,每个500-1000个图像。
2010年,大型图像识别竞赛第一次举办。

ILSVRC竞赛—图像识别:
Top Five Category。
2012年冠军,Hinton和2个学生,错误率达到15.3%。
2015年开始错误率低于人类。

高性能计算机保驾护航:
AI芯片诞生,GPU就AI芯片的一种。
2009年,斯坦福大学的吴恩达,Large-scale Deep Unsupervised learning using Graphic Processors,参数规模达到1亿。

人工智能迅速发展的技术领域
计算机视觉
定义:Computer Vision CV,计算机如何象人类一样的看的学科。用摄影机和计算机,代替人眼,识别、监测、测量,并进一步处理,成为更适合人眼观察或仪器检测的图像。
场景:
图像分类:根据不同的语义区分图像、图像做为输入进行区分、使用深度学习和神经网络、细粒度图像分类。
应用:动物保护、目标检测、医疗诊断、鸟类保护等。
图像重建:它通过对已有的图像信息进行处理和分析,能够恢复、重建或增强缺失或损坏的图像,为各种应用领域提供高质量的图像信息。用于遥感、CT等。
目标检测:
在图像中定位感兴趣的目标,准确判断每个目标的类别,并给出每个目标的边界框。
难点和重点:小目标的高精度检测、多类别目标检测。
应用:机器人导航、自动驾驶、智能视频监督、工业检测、人脸识别等。
图像搜索:图像检索技术可以分为两类:基于文本的图像检索(TBIR)和基于内容的图像检索(CBIR)。核心在于图片特征的提取。涉及版权保护、拍照购物等。
图像分割:将数字图像分割为若干个图像子区域(像素的集合,也被称为超像素),改变图像的表达方式,以更容易理解和分析。是图像处理与理解和人工智能等多个领域中十分重要又十分困难的问题,是计算机视觉中的关键步骤。
分为三类:
语义分割:预测输入的图像的每个像素点属于哪一类标签。
实例分割:在语义分割的基础上,还要区分出同一类的不同个体。
全景分割:在实例分割的基础上,对背景的每个像素点,进行分割。
应用:医学核磁影像、遥感领域、交通领域的车辆轮廓提取。

语音技术
让智能设备能够听懂人的语音,也可以让机器说话的一种技术,涉及:数字信号处理、人工智能、语言学、数理统计、声学、情感学、心理学等;包括:语音识别技术ASR,语音合成技术TTS。
语音技术与人工智能:智能客服、智能家居等。
三个应用场景:
语音识别:目标是电脑可自动识别人类的语音为文字;语音拨号、语音导航、室内控制、文档检索、简单的听写数据录入。
语音合成:定义:采用机械的、电子的方法,实现人造语音的技术;TTS(Text-to-Speech),文语转换技术,将文本转为流利的语音。应用:人机交互、智能客服等,
声纹识别:生物认证技术的一种,根据说话人语音中生理和行为特征的语音参数自动鉴别说话人身份的一种技术。交叉运用了生理学、心理学、语音信号处理、模式识别、统计分析和人工智能综合知识。应用:移动互联网、通信、门禁等。

自然语言处理:Natual Language Processing,NLP,包括自然语言识别和自然语言生成,用途是从非结构化的文本数据中,发掘洞见,并访问这些信息,生成新的理解。
自然语言处理与人工智能:用机器来处理大规模的自然语言信息。人工智能、计算机、信息工程的交叉学科。由于语言是人类思维的证明,因此自然语言处理是人工智能的最高境界,被誉为“人工智能皇冠上的明珠”。
应用场景:
文本分类:Text Categorization,将文本按照一定的分类体系或者标准自动的分类打标签。新闻分类、邮件自动回复、广告过滤、内容审核等。
机器翻译:Machine Translation,属于计算机语言学的范畴,利用计算机程序将文字或者演说从一种语言翻译成另一种语言。使用一种基于语言规则的语法,文字依据语言学的规则来翻译,即1个最合适的目标语言的字词将会替代源语言。
成功的关键:能够优先解决对自然语言的正确认知和辨识。
应用:在线多语言翻译、语言同传、翻译机(微信翻译等)、跨语言检索。
知识图谱。
对话系统:Dialogue System,对话系统,也称会话代理,一种模拟人类与人交谈的计算机系统,旨在可以与人类形成连贯通顺的对话,通信方式主要有语音/文本/图片,当然也可以手势/触觉等其他方式。
类别:任何导向型对话系统和非任务导向型对话系统(聊天机器人)。
应用:聊天机器人、语言助手、智能客服。
信息检索。
文本生成。