Chinese, Computer Science, Technology
Machine Learning Chinese NLP :::: Logistic Regression Hypothesis Representation
How to represent hypothesis for Logistic Regression
让我们开始谈谈逻辑回归
在这段视频中
我要给你展示假设函数的表达式
也就是说
在分类问题中
要用什么样的函数来表示我们的假设
此前我们说过
希望我们的分类器
的输出值在0和1之间
因此 我们
希望想出一个
满足某个性质的假设函数
这个性质是它的预测值要在0和1之间
当我们使用线性回归的时候
这是一种假设函数的形式
其中 h(x) 等于
θ 的转置乘以 x
对于逻辑回归来说
我要把这个稍微改一下
把假设函数改成
g(θ 的转置乘以 x)
其中 我将定义
函数g如下：
当z是一个实数时
g(z)=1/(1+e^(-z))
g(z)=1/(1+e^(-z))
g(z)=1/(1+e^(-z))
这称为 S 型函数 (sigmoid function)
或逻辑函数
逻辑函数这个词
就是逻辑回归名字的由来
顺便说一下
S型函数和逻辑函数
基本上是同义词
意思是一样的
因此 这两个术语
基本上是可互换的
哪一个术语都可以
用来表示这个函数 g
如果我们
把这两个方程
合并到一起
这是我的假设
的另一种写法
也就是说
h(x)=1/(1+e^(-θ 转置乘以 x))
h(x)=1/(1+e^(-θ 转置乘以 x))
我所做的是
把这个变量 z
这里 z 是一个实数
把 θ 的转置乘以 x
代入到这里
所以最后得到的是
θ 转置乘以 x 代替了这里的 z
最后 我们看一下S型函数是什么样的
我们在这儿绘制这个图形
S型函数 g(z)
也称为逻辑函数 看起来是这样的
它开始接近0
然后上升 直到在原点处达到0.5
然后它再次变平 像这样
所以这就是S型函数的样子
而且你注意S型函数
而且你注意S型函数
它渐近于1
然后随着横坐标
的反方向趋向于0
随着 z 趋于负无穷
随着 z 趋于负无穷
g(z) 趋近于零
随着 z 趋于正无穷
g(z) 趋近于1
因为 g(z) 的取值
因为 g(z) 的取值
在0和1之间
我们就得到 h(x) 的值
必在0和1之间
最后 有了这个假设函数
我们需要做的是
和之前一样
用参数θ拟合我们的数据
所以拿到一个训练集
我们需要给参数 θ 选定一个值
我们需要给参数 θ 选定一个值
然后用这个假设函数做出预测
稍后我们将讨论一个
用来拟合参数θ的学习算法
但是首先让我们讨论
一下这个模型的解释
这就是我对
假设函数 h(x) 的输出的解释
假设函数 h(x) 的输出的解释
当我的假设函数
输出某个数
我会认为这个数是
对于新输入样本 x 的
y 等于1的概率的估计值
我的意思是这样的
下面举个例子
比方说 我们来看肿瘤分类的例子
我们有一个特征向量 x
和平时一样 x0 等于 1
然后我们的特征变量 x1
是肿瘤的大小
假设我有一个病人来了
而且知道肿瘤的大小
而且知道肿瘤的大小
把他们的特征向量 x
代入我的假设函数
假如假设函数的输出为0.7
我将解释
我的假设如下
我要说 这个
假设告诉我
对于一个特征为 x 的患者
对于一个特征为 x 的患者
y 等于 1 的概率是0.7
换句话说
我要告诉我的病人
非常遗憾
肿瘤是恶性的可能性是70％或者说0.7
要更加正式的写出来
或者说写成数学表达式
我的假设函数等于
我的假设函数等于
P(y=1|x;θ)
P(y=1|x;θ)
P(y=1|x;θ)
对于熟悉概率的人
应该能看懂这个式子
如果你不太熟悉概率
可以这么看这个表达式
可以这么看这个表达式
在给定 x 的条件下
y=1 的概率
给定的 x 就是我的病人的特征 x
给定的 x 就是我的病人的特征 x
特征 x 代表了
我的病人特定的肿瘤大小
这个概率的参数是 θ
这个概率的参数是 θ
所以 我基本上可以认为
假设函数给出的估计
是 y=1 的概率
是 y=1 的概率
现在 因为这是一个
分类的任务 我们知道
y 必须是0或1 对不对？
它们是 y 可能取到的
仅有的两个值
无论是在训练集中
或是对走进我的办公室
或在未来进入医生办公室的新患者
因此 有了 h(x)
我们也可以计算
y=0 的概率
具体地说
因为 y 必须是0或1
我们知道
y=0 的概率
加上 y=1 的概率
必须等于1
这第一个方程看起来
有点复杂
基本上就是说
给定参数 θ
对某个特征为 x 的病人
y=0 的概率
和给定参数 θ 时
对同一个特征为 x 的病人
y=1 的概率相加
必须等于1
如果觉得这个方程看到起来有点儿复杂
可以想象它没有 x 和 θ
这就是说
y=0 的概率
加上 y=1 的概率必须等于1
我们知道这是肯定的
因为 y 要么是0 要么是1
所以 y=0 的可能性
和 y=1 的可能性
它们俩相加肯定等于1
所以 如果你只是
把这一项
移到右边
你就会得到这个等式
就是说 y=0 的概率
等于1减去 y=1 的概率
因此 我们的
假设函数 h(x)
给出的是这一项
你可以简单地计算出这个概率
你可以简单地计算出这个概率
计算出 y=0 的概率的估计值
计算出 y=0 的概率的估计值
所以 你现在知道
逻辑回归的假设函数的表达式是什么
逻辑回归的假设函数的表达式是什么
我们看到了定义逻辑回归的
假设函数的数学公式
在接下来的视频中
我想试着让你
对假设函数是什么样子
有一个更直观的认识
我想告诉你
一个被称为判定边界 (decision) 的东西
一个被称为判定边界 (decision) 的东西
我们会一起看一些可视化的东西
可以更好地理解
逻辑回归的假设函数
到底是什么样子
Sorry, the comment form is closed at this time.