qqfq

摘要： 一.基础概念: 无监督学习，无标签，仅依据样本相似度自动划分簇；同一簇样本相似度高，不同簇差异大 与分类的区别在于分类是带标签（事先定义好的类），聚类是不带标签仅根据样本的相似度进行分类 三要素： 相似度 / 距离度量 聚类准则（目标函数） 聚类算法（优化求解） 三原则： 同质性原则（同类很相似） 阅读全文

摘要： 一.计算目的： 支持向量（集合边缘的数据）到决策面（一个平面）的距离最大 二.线性可分(硬间隔SVM) 定义：存在一个线性函数将样本分开 使用超平面： 样本分类： 函数间隔（反映分类是否正确，正则正确，负则错误）： 样本到超平面的距离： 完整计算流程： 判断SVM类型，若线性可分，则进入本分支（无松 阅读全文

摘要： 一.核心思想 多个弱学习器（简单模型：单层决策树、逻辑回归）组合成强学习器，整体效果优于单个模型。 二.主流框架 1.Begging a.原理：从原数据集有放回抽n份样本，每份独立训练一个弱分类器，预测时分类问题投票，回归问题取均值（并行独立训练） b.代表算法:随机森林 流程： （1）对原始数据集 阅读全文

摘要： 损失函数 决策树 id3 1.用途：用于评估拟合回归线； 2.目的：让误差最小（误差：预测值-真实值） 3.方法： a:Mae平均绝对误差 b:Mse均方误差 c：Rmse均方根误差 决策树 1.定义：非参数（无超参）的监督学习方法 2.特征：叶子节点是结果，非叶子节点是条件（规则） 3.优点：又快 阅读全文

摘要： 一。云平台及其服务介绍 1.云平台（云计算平台）：一个远程平台聚合软硬件资源为用户提供服务（租网络资源） 2.云平台提供的服务： 1.laas服务：it的基础设施（ip带宽云服务器） 2.将平台作为一种服务 3.Saas:销售软件 二。云平台创建大数据集群的一般步骤： 1.创建云上虚拟局域网（VPC 阅读全文

摘要： 1.创建文件夹 2.解压缩JDK安装文件 3.配置JDK软链接 4.配置环境变量 5.生效环境变量 6.配置java执行程序软链接 7.执行验证 阅读全文

摘要： 1.集群内部关闭防火墙： 2.关闭SELinux（限制用户和程序相关权限，以实现系统的稳定） 修改时区： 1.安装ntp软件（网络时间协议，为解决时间错乱问题，解决数据过期等） 2.更新时区 3.同步时间 4.开启NTP服务并设置开机自启 阅读全文

摘要： 使用配置： 1.傻瓜式安装VMware 2.创建一台虚拟机 3.克隆多台虚拟机以实现集群 4.对每个虚拟机分配内存 5.修改主机名+配置ip： 6.配置主机名映射（修改host文件）： 7.使用FinalShell（用于连接vmware，可复制粘贴命令） 主机填刚刚填的主机名： 8.配置SSH免密登 阅读全文

摘要： 预处理： 1.归一化：（当前值-最小值）/（最大值-最小值） 2.标准化： 模型拟合： 1.过拟合：数据量较多模型复杂，学到了些脏的内容（在训练集表现良好，测试集表现不好） 2.欠拟合：数据量少模型简单，无法做出预测（在训练和测试集都表现不好） 3.拟合：（在训练集和测试集均表现良好） 阅读全文

摘要： 1.获取数据 获取经验数据 图像数据 文本数据 2.数据基本处理 数据缺失值处理：删或填（平均值/中位数） 异常值处理 3。特征工程 特征提取：从原始数据中提取与任务相关的特征，会改变原数据 特征预处理:因量纲问题有些对模型影响大有些影响小 特征降维 特征选取 特征组合 4.机器学习 线性回归 逻辑 阅读全文