标签:Sparsity

ElasticNet

Linear Regression with Elastic Net线性回归线性回归最简单的形式为$$y = wx$$ 损失函数为$$L(y,x;w) = \frac{1}{2n}\sum_{i}||y_i - w^Tx_i||_2^2$$ 这个问题可以直接求解,令梯度为0,得到$$w = (X^TX)^{-1}X^Ty$$ 但是通常来说$(X^TX)$不是满秩的,数值计算上会有问题,将会有无穷多