逻辑回归及正则化
在这个算法里，我们的假设函数长这样：
简化一下，把叫做Z，那么原函数就变成了
图示如下：
嗯。反正差不多，所以高数的知识可以直接拿过来用了。
逻辑回归算法，计算目的是为了分类。按照图中所示，当的时候，
大于0.5，那么假如你要分类，1为在某类，0为不在某类，那
四舍五入就是1个1……。同理，z<0时，g（z）<0.5，四舍五入到0……（当然实际不是这么做的，实际做法是用数学方法使z的绝对值超过一个界限，使得
和1或者0很近。）
我们可以把g(z)=0.5,也就是z=0的时候，称为决策边界。假设y为结果，y的值是1或者0。
那么，z=0，也就是=0的时候为边界。
时y=1。
时y=0。分类就靠这个……
然后继续，机器学习嘛，根据前两周的经验，肯定有那个J，代价函数。逻辑回归算法的代价函数如下：
（m是y总数，嫌麻烦的话，和第二周一样，如果你把那个加和符号去掉，那么这里x和y就变成向量了也就是：
。）
然后因为y只有0和1两个取值，这里就可以分两种情况讨论，让y从函数中去掉：
y=0：
y=1:
然而我们发现，这样拿出来的函数，因为y一会儿是1，一会儿是0，得到的图像如下（左边的）然而左边的凹凸不平（非凸），不方便梯度下降，我们想要的是右边那种滑溜溜（凸）的图像。：
所以我们假设有个函数cost，
原函数J变成了
反正我们要的是符合决策边界的条件就可以了，反正都把结果四舍五入成1或者0了，也没必要非得是某个函数对吧？
所以它是什么函数无所谓。只要（它的函数处理了x以后，得到的y）符合决策边界的条件即可。而现在我们希望得到一个滑溜溜的凸函数。那么我们就假设（注意，这是假设出来的，符合条件的函数之一，没说非得这样。然而这是已有的函数中最好的。）：
y=1的时候，
y=0的时候，
它们的图像如下：
符合条件。那么这时候还有一个问题，大家都很懒对吧，懒得分情况讨论，那么如何做呢？
你看，由于y只有1和0两个值，所以我们就直接把两种情况的cost函数相加，然后分别乘以y和y-1即可：
看，是不是很方便呢？
于是原来的那个代价函数J就变成了：
然后照旧，我们目的是拿x和y训练样本得到嘛！所以对这玩意求导，然后取个α，然后不断重复梯度下降……以得到
，就是下面这个玩意：
（repeat：）
这坨玩意里，我们需要计算，直接照搬之前笔记里的，
即可。只不过这里的
于是我们最终得到的
（repeat：）
逻辑回归函数就是这样了。
然后是拟合问题，下面是3种情况：
第一种是欠拟合，通常是因为特征量选少了。第二种是我们想要的，第三个是过拟合，通常是因为特征量选多了。
欠拟合的解决方法是增加特征量。
过拟合的解决方法是减少特征量或者正则化。
比如我们的逻辑回归函数，不选个自定义的函数，就用我们那个类似泰勒展开式的函数来做的画，这货长得凹凸不平的
我们想要的，是一根滑溜溜的凸函数，但是我们又不能确定哪些特征量该去掉，所以我们就选择正则化的方式解决过拟合。
正则化的方法，就是给代价函数后面加个“惩罚项”……来降低它对数据的拟合能力。
于是我们的
就变成了：（这里n表示特征量的总数，意思就是让所有的n个正义的
为了解决过拟合问题，大喊一声“合体！”然后一起来惩罚那个过度拟合了的函数……
是正规化参数，决定了你惩罚得有多狠。你要惩罚狠点，你就把
提高一点，
过高会变得欠拟合，
过小无法解决过拟合。）
那么我们的就顺利变成了：
~→
。
注意，当的时候，由于
=1，所以这一项不会欠拟合也不会过拟合，所以不惩罚它。
然后，如果你用的不是线性回归，而是正规方程的话，同理，给
varsigma =ones(n+1,n+1); #没有ones方法的自己写个循环给列表赋值，非常简单。
varsigma [0,0]=0 #python，c，php等编程的话，等这里是0，0
varsigma [1,1]=0 #matlab等这里是1，1，因为一个从0开始计数，一个从1开始计数。真是……就不能统一一下么，老因为这个引起一群嘴强王者的唇战。
写出来差不多就是这样一个矩阵:
[
0,0,0,0,0,0,0,0,...,0,0
0,1,0,0,0,0,0,0,...,0,0
0,0,1,0,0,0,0,0,...,0,0
0,0,0,1,0,0,0,0,...,0,0
0,0,0,0,1,0,0,0,...,0,0
0,0,0,0,0,1,0,0,...,0,0
0,0,0,0,0,0,1,0,...,0,0
0,0,0,0,0,0,0,1,...,0,0
. .
. .
. .
0,0,0,0,0,0,0,0,...,0,1
]
得到的正规化后的公式为
上一篇： jupyter notebook的使用
下一篇： 逻辑回归中的coef