Python数据科学：正则化方法

使用LassoCV交叉验证确定最优的正则化系数。

# 生成正则化系数 
lasso_alphas = np.logspace(-3, 0, 100, base=10) 
# 使用不同的正则化系数对模型进行交叉验证 
lcv = LassoCV(alphas=lasso_alphas, cv=10) 
# 使用数据集训练(fit) 
lcv.fit(X, y) 
# 输出最优参数,正则化系数及相应模型R² 
print('The best alpha is {}'.format(lcv.alpha_)) 
print('The r-square is {}'.format(lcv.score(X, y))) 
 
# 输出结果 
The best alpha is 0.04037017258596556 
The r-square is 0.4426451069862233 

发现最优的正则化系数为0.04，模型R²为0.443。

接下来获取不同正则化系数下的变量系数轨迹。

lasso = Lasso() 
lasso_coefs = [] 
# 不同正则化系数下的变量系数 
for alpha in lasso_alphas: 
    lasso.set_params(alpha=alpha) 
    lasso.fit(X, y) 
    lasso_coefs.append(lasso.coef_) 
 
# 绘制变量系数随正则化系数变化的轨迹 
ax = plt.gca() 
ax.plot(lasso_alphas, lasso_coefs) 
ax.set_xscale('log') 
plt.xlabel('alpha') 
plt.ylabel('weights') 
plt.title('Lasso coefficients as a function of the regularization') 
plt.axis('tight') 
plt.show() 

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!