首页 AI学术青年与开发者社区

机器学习必修之数学基础系列课程

开课时间:录播回放,在线学习
开课时长:线上视频课程,随到随学
机器学习 基础入门
会员免费
现价:¥699.00
原价:¥999.00

  开通会员,立省699元 立即开通

  当前课程,会员领券立减59元>>

进入到凸优化,难度比以前加强了,主要是概念和定理比较多,比较抽象化,需要结合画图和例题来进行梳理。

1可行下降方向:

定义一

可行方向
  
满足
  
,则称d为约束优化问题(1)在x点的可行下降方向

定义二

设X是非线性规划问题(NLP)的一个可行点,非零矢量d即是点X处的可行方向,又是f(X)在点X处的一个下降方向,则称d为f(X)在点X处的一个可行下降方向 [1] 

 2.起作用约束(active constraint)

亦称紧约束或积极约束,是指在某可行点处使不等式约束成为等式的约束。对于可行点x',当gi(x')=0时点x'处于这个约束形成的可行域的边界上,起到了限制作用,故称这一约束为点x'处的起作用约束,等式约束对所有可行点都是起作用约束。

3. 拉格朗日乘子

基本的拉格朗日乘子法(又称为拉格朗日乘数法),就是求函数 f(x1,x2,...) 在 g(x1,x2,...)=0 的约束条件下的极值的方法。其主要思想是引入一个新的参数 λ (即拉格朗日乘子),将约束条件函数与原函数联系到一起,使能配成与变量数量相等的等式方程,从而求出得到原函数极值的各个变量的解

 

4.KKT条件

min.:f(x) 
s.t.:gi(x)≤0,i=1,2,…,p, 
hj(x)=0,k=1,2,…,q, 
x∈Ω⊂Rn 
KKT条件是指在满足一些有规则的条件下, 一个非线性规划(Nonlinear Programming)问题能有最优化解法的一个必要和充分条件. 这是一个广义化拉格朗日乘数的成果. 一般地, 一个最优化数学模型的列标准形式参考开头的式子, 所谓 Karush-Kuhn-Tucker 最优化条件,就是指上式的最优点x∗必须满足下面的条件: 
 - 1. 约束条件满足gi(x∗)≤0,i=1,2,…,p, 以及,hj(x∗)=0,j=1,2,…,q 
 - 2. ∇f(x∗)+∑i=1pμi∇gi(x∗)+∑j=1qλj∇hj(x∗)=0, 其中∇为梯度算子; 
 - 3. λj≠0且不等式约束条件满足μi≥0,μigi(x∗)=0,i=1,2,…,p

 

更多概念参考:https://blog.csdn.net/weixin_37352167/article/details/84675233

[展开全文]

相关课程

开课日期:录播回放,在线学习开始
机器学习 基础入门 38756
开课日期:深度学习鼻祖Hinton公开课视频,随到随学开始
免费课 29058

授课教师

广东财经大学特聘教授;香港城市大学数学系博士
微信扫码分享课程