欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

机器学习-数据归一化

程序员文章站 2022-07-16 19:10:06
...

定义

  • 数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。
  • 两种常用的归一化方法 
    • min-max标准化
    • Z-score标准化方法

优点

  • 归一化后加快了梯度下降求最优解的速度;
  • 归一化有可能提高精度(归一化是让不同维度之间的特征在数值上有一定比较性); 
    机器学习-数据归一化

min-max标准化(Min-Max Normalization)

  • 定义:也称为离差标准化,是对原始数据的线性变换,使结果值映射到0 - 1之间。
  • 本质:把数变为【0,1】之间的小数
  • 转换函数:(X - Min)/(Max - Min)
  • 如果想要将数据映射到-1,1,则将公式换成:(X - Mean)/(Max - Min)
max为样本数据的最大值 
min为样本数据的最小值
x_mean表示数据的均值
缺陷:当有新数据加入时,可能导致maxmin的变化,需要重新定义。
  • 1
  • 2
  • 3
  • 4

Z-score标准化方法

  • 定义:这种方法给予原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。经过处理的数据符合标准正态分布,即均值为0,标准差为1
  • 本质:把有量纲表达式变为无量纲表达式
  • 转换函数:(X - Mean)/(Standard deviation)
Mean为所有样本数据的均值 
Standard deviation为所有样本数据的标准差。
  • 1
  • 2

使用场景

  • 在分类、聚类算法中,需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候,第二种方法(Z-score standardization)表现更好。
第一种方法(线性变换后),其协方差产生了倍数值的缩放,因此这种方式无法消除量纲对方差、协方差的影响,对PCA分析影响巨大;同时,由于量纲的存在,使用不同的量纲、距离的计算结果会不同。
  • 1
  • 在不涉及距离度量、协方差计算、数据不符合正太分布的时候,可以使用第一种方法或其他归一化方法。比如图像处理中,将RGB图像转换为灰度图像后将其值限定在0 255的范围。
第二种归一化方式中,新的数据由于对方差进行了归一化,这时候每个维度的量纲其实已经等价了,每个维度都服从均值为0、方差1的正态分布,在计算距离的时候,每个维度都是去量纲化的,避免了不同量纲的选取对距离计算产生的巨大影响。
  • 1

参考文档