十个技巧，让你成为“降维”专家

如图8所示，对于某些数据集而言，PCA的 PC定义是不明确的，即连续两个或多个PC可能具有非常相似的方差，并且相应的特征值也几乎完全相同，如图8所示。尽管由这些分量共同组成的子空间是有意义的，但特征向量(即PC)并不能单独提供信息，而且它们的载荷也不能单独解释，因为即使是一个观察点中的微小变化也会导致完全不同的特征向量集。在这种情况下，我们说这些pc是不稳定的。相似特征值对应的维度应该一起理解而不能单独解释。

图8.不稳定的特征值

当多个特征值近乎相等时，PCA表示是不稳定的。PCA，principal component analysis，即主成分分析。

使用需要指定参数的技术时，还应根据不同的参数设置检查结果的稳定性。例如，在运行t-SNE时，你需要为困惑度选择一个值，不同的值甚至可能定性地改变结果。当困惑度被设置为非常小的值时，常会形成“人工聚类”。不应该使用t-SNE目标函数的值即KL散度作为选择“最佳困惑度”的标准，因为随着困惑度值的增加，KL散度总是单调减小。对于t-SNE，Cao和Wang在提出了用于选择困惑度的贝叶斯信息准则(BIC)类型规则。然而由于t-SNE的稳定性理论还没有开发出来，在实践中，应该针对一系列输入参数重复降维计算，并直观地评估所发现的模式在不同规格中是否一致。尤其是当困惑度值的微小增加导致聚类模式消失时，你得到的分类可能只是参数选择不合适带来的错误结果。

另一个需要关注的问题是方法面对异常值时的稳定性。一般来说，远离中心的观察点对PC的影响要大于靠近中心的观察点;有时数据中的一小部分样本几乎决定了PC。

你应该注意这样的情况，并验证降维方法捕获的结构是否能代表大部分数据，而不仅仅是少数异常值。在降维图中，异常值是远离大多数观测值的点。在PCA和其他线性方法中，如果样本投影图中的所有点都位于原点即图的中心附近，只有一两个点位于很远的地方，降维结果将被异常值控制。应该使用特定数据质量控制指标对这些点进行检验，并考虑将其删除。

如果删除了样本，则需要重新进行降维计算，并且应注意输出表示中的更改。通过比较去除异常值前后的降维可视化，观察观察点的变化。你不仅应该考虑删除异常值，还应该考虑删除异常组，即与多数数据有很大不同的异常类。除去异常组并重新进行降维计算，得到适合大部分数据的模式。另一方面，如果数据集中包含许多异常观测，则应使用稳定的方法，比如健壮的核主成分分析。

此外，可以通过构建“引导”数据集来估计与观察点相关的不确定性，即用替换方法重采样观察点以生成数据的随机子集。“引导”集可以看作是多路数据，使用技巧8中描述的STATIS或Procrustes对齐方法匹配随机子集。当数据的真实噪声模型可用时，可以生成数据点的副本，而不需要使用自举子样本。通过扰动样本的测量值，并应用技巧9中提到的STATIS或DiSTATIS方法生成“折中方案”和每个受干扰的数据副本的坐标。获取每个数据点的多个估计值后就可以估计它的不确定性。你可以使用密度等值线或通过将每个引导程序投影中的所有数据点绘制到折中方案上来显示DR嵌入图上每个样本的不确定性。图9表示两个模拟数据集的PCA投影的Procrustes比对。彩色线表示自举子集输出坐标的密度等值线，菱形标记对应于全部数据的投影坐标。图中绘制了20个合成数据点，这些数据点分别来自2维高斯分布和5维高斯分布，均正交投影到10维。我们可以观察到低秩数据点的不确定性要小得多，即前2个PC能更好地代表第一个数据集。

图9.数据点的不确定性

每个数据点的降维输出坐标的稳定性。 使用Procrustes变换将两个10维模拟数据集的bootstrap样本投影到前两个PC对齐，其中(a)中数据秩为2、(b)中数据秩为5。 较小的圆形标记对应于每个bootstrap试验，较大的菱形标记是整个数据集的坐标。DR，dimensionality reduction，即降维;PC，principal component，即主成分。

结语

在分析高维数据时，降维非常有用，有时甚至是必不可少的。尽管降维方法被广泛采用，但经常被误用或误解。现有方法的降维方法五花八门，更不用说其中一些方法还有着各种不同的相异度指标和参数设置。这十项技巧可以为从业者提供一个检查表或作为一个非正式的指南。我们描述了执行有效降维的一般步骤，并给出了正确解释和充分理解降维算法输出的方法。这里讨论的大部分建议都适用于所有降维方法，但部分建议是针对特定降维方法的。

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!