AI产品经理入门手册（下）.pdf

AI产品经理入门手册（下）近两年来AI产业已然成为新的焦点和风口，各互联网巨头都在布局人工智能，不少互联网产品经理也开始考虑转型AI产品经理，本文作者也同样在转型中。本篇文章是通过一段时间的学习归纳总结整理而成，力图通过这篇文章给各位考虑转型的产品经理们一个对AI的全局概括了解。本文分为上下两篇，此为下篇。三、AI技术业内通常将人工智能分类为机器学习、计算机视觉、语音交互和自然语言处理四大领域，机器学习可以理解为是其他三大领域的底层基础，大致可以分为监督学习、非监督学习、强化学习、迁移学习。本文在此基本不涉及公式，尽量以平直易懂的语言讲述这几种机器学习方法及相关算法。个人认为在实战过程中根据工作需要再深入学习这些算法，会更有针对性而且效率会更高，事半功倍。3.1机器学习概念：投喂给机器训练数据，机器从这些数据中找出一个能够良好拟合已有数据的函数，新数据来了后，就可以通过这个函数预测对应结果。适合解决的问题：有规律可以学习、编程很难做到、有能够学习到规律的数据。工作方式：根据任务目标确定算法；在预处理阶段把数据分成三组：训练数据（用来训练模型）、验证数据（开发过程中用于调参）、测试数据（测试用）；用训练数据来构建使用相关特征的模型；把验证数据接入模型调参；用测试数据检查被验证的模型的表现；用完全训练好的模型在新数据上做预测；用更多数据或选取不同特征以及利用调整过的参数来提升优化算法的性能表现。分类：按学习方式可以分为监督学习（包括半监督学习）、无监督学习、强化学习、迁移学习。3.2监督学习概念：机器学习的一种，通过学习许多有标签的样本，得到特征值和标记值之间的对应规律，然后对新的数据做出预测。分类：根据输入数据x预测出输出数据y，如果y是整数的类别编号，则称为分类问题，算法包括：决策树、随机森林、贝叶斯、KNN、SVM、逻辑回归。如果y是实数值，则为回归问题，算法包括决策树、随机森林、KNN、SVM、线性回归。主流算法：1）决策树算法基本原理：决策树是一个树结构，每个非叶节点表示一个特征属性，每个分支代表这个特征属性在某值域上的输出，每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达某个叶节点，该叶节点存放的类别即为决策结果。决策树是一种判别模型，既支持分类问题，也支持回归问题，是一种非线性模型（分段线性函数不是线性的），它天然的支持多分类问题。决策树的构建由机器训练得到，而不是人工制定。决策树的关键步骤是分裂属性，即在某个节点处按照某一特征属性的不同划分构造不同的分支，尽量让一个分裂子集中待分类项属于同一类别。而根据判断方法的不同所以产生了ID3算法，C4.5算法以及CART算法。下图以银行判断是否给客户贷款为例大致说明决策树的原理：主要用途：基于规则的信用评估、赛马结果预测。优劣势：擅长对人、地点、事物的一系列不同特征、品质、特性进行评估，非常容易解释，但容易趋于过拟合。2）随机森林基本原理：由决策树与集成学习算法相结合生成，由多棵决策树组成。用多棵决策树联合预测可以提高模型的精度，这些决策树用对训练样本集随机抽样构造出的样本集训练得到。由于训练样本集由随机抽样构造，因此称为随机森林。随机森林不仅对训练样本进行抽样，还对特征向量的分量随机抽样，在训练决策树时，每次分裂时只使用一部分抽样的特征分量作为候选特征进行分裂。随机森林是一种判别模型，既支持分类问题，也支持回归问题，并且支持多分类问题，这是一种非线性模型。主要用途：用户流失分析、风险评估。优劣势：随机森林对大规模数据集和存在大量且有时不相关特征的项来说很有用，且有很好的解释性。它比使用单个模型预测出来的结果要精确的多，但同时也需要大量的维护工作。3）朴素贝叶斯基本原理：是在已知样本的特征向量为x的条件下反推样本所属的类别y，即对于给出的待分类项，求解在此待分类项出现的条件下各个类别出现的概率，哪个概率最大，就认为此待分类项属于哪个类别。简单的举个例子：我们看到一个人高鼻深目金发碧眼，...