幕雪

pca主成分分析是什么、为什么用、如何计算、如何选择维度、在哪里应用


PCA主成分分析究竟“是”什么？

PCA（Principal Component Analysis），直译过来就是主成分分析。它是一种常用的数据降维技术。但它不仅仅是简单地减少数据的维度，更重要的是它通过线性变换，将原始数据投影到一个新的坐标系中，这个新坐标系的轴（称为主成分）是原始数据方差最大的方向。

简单来说，想象你的数据点分布在一个三维空间里，但这些点似乎主要沿着一个平面散开。PCA会找到这个“方差最大”的平面，并把你的数据点投影到这个平面上，从而把三维数据降到二维，同时尽量保留原始数据的“信息”（这里的“信息”主要指数据的变异性或分散程度）。

  • 核心思想： 找到数据中最重要的、变化最大的几个方向。
  • 输出结果： 一组新的、互不相关的变量，称为主成分。第一个主成分捕获原始数据中最大的方差，第二个捕获剩余方差中最大的部分，以此类推。
  • 本质： 一种线性变换，将高维数据映射到低维空间。

为什么要进行PCA主成分分析？

在高维数据分析中，我们经常会遇到一些挑战，PCA正是为了解决这些问题而诞生的。

  1. 应对“维度灾难”： 当数据的特征（维度）非常多时，会面临所谓的“维度灾难”。这会导致数据稀疏、计算量剧增、模型容易过拟合（在训练数据上表现好，但在新数据上表现差）。通过PCA降维，可以有效缓解这些问题。
  2. 去除噪声： 通常，数据中包含大量特征时，一些特征可能是噪声，或者它们的变化很小，对分析没有太大帮助。PCA倾向于保留那些方差大的方向，这些方向通常被认为是数据中主要的信息来源，而将方差小的方向（可能包含噪声）舍弃。
  3. 数据可视化： 人类很难直观地理解超过三个维度的数据。PCA可以将高维数据降到2维或3维，方便我们在图表上进行绘制和探索，从而发现数据中的聚类、离群点或潜在模式。
  4. 压缩数据： 降维后的数据占用的存储空间更小，传输效率更高。
  5. 提高某些模型的性能： 在某些机器学习任务（如聚类、分类）中，对降维后的数据进行建模可能会因为噪声减少、特征相关性降低而获得更好的性能或更快的训练速度。
  6. 特征提取： 主成分是原始特征的线性组合，它们可以被视为从原始数据中提取出来的新特征。

PCA主成分分析“如何”工作？（计算步骤简述）

理解PCA的工作原理，需要涉及一些线性代数的概念，比如协方差矩阵、特征值和特征向量。这里我们尽量用通俗的语言描述其核心计算流程：

数据预处理 – 标准化是关键

这是非常重要的第一步。PCA对数据的尺度（不同特征的数值范围）非常敏感。如果某个特征的数值范围远大于其他特征，那么它会不成比例地影响主成分的方向。因此，在进行PCA之前，需要对数据进行标准化，使得每个特征的均值为0，方差为1。这样可以确保每个特征在主成分计算中享有平等的“话语权”。

计算协方差矩阵

标准化后，计算数据的协方差矩阵。协方差矩阵是一个方阵，它的对角线元素是每个特征的方差，非对角线元素是每对不同特征之间的协方差。协方差反映了两个变量同时变化的程度和方向。这个矩阵描述了数据在各个维度上的分散程度以及不同维度之间的关系（相关性）。

计算特征值和特征向量

这是PCA的核心数学步骤。求解协方差矩阵的特征值和对应的特征向量。

  • 特征向量： 代表了数据中方差最大的方向。它们是新坐标系的轴（即主成分）。
  • 特征值： 代表了数据在对应特征向量方向上的方差大小。特征值越大，说明该方向上的方差越大，对应的主成分越重要。

选择主成分

根据特征值的大小将特征向量进行排序，特征值最大的特征向量对应第一个主成分，它捕捉了最多的方差；特征值次大的特征向量对应第二个主成分，它捕捉了剩余方差中最大的部分，以此类推。我们选择前k个最大的特征值对应的特征向量，组成一个投影矩阵。

数据转换

将原始（已标准化）的数据点乘以这个由选定的前k个特征向量组成的投影矩阵，就得到了数据在新的k维主成分空间中的表示。这就是降维后的数据。

“如何”在实践中应用PCA主成分分析？（数据准备与工具使用）

在实际项目中应用PCA通常依赖于成熟的科学计算库，例如Python中的scikit-learn库或R语言。步骤如下：

数据准备：

  1. 加载数据： 将你的数据集导入到程序中。
  2. 处理缺失值： PCA无法处理包含缺失值的数据，需要先对缺失值进行处理（如填充均值、中位数、众数或使用更复杂的方法）。
  3. 标准化数据： 这是非常重要且通常是强制性的步骤。使用标准差缩放（StandardScaler）或其他合适的缩放方法，将每个特征缩放到相似的数值范围。

应用PCA（以scikit-learn为例的概念流程）：

  1. 导入库： 导入StandardScaler和PCA模块。
  2. 实例化标准化器： 创建一个StandardScaler对象。
  3. 拟合并转换数据： 使用标准化器对原始数据进行fit_transform操作，得到标准化后的数据。
  4. 实例化PCA： 创建一个PCA对象。在这一步，你可以指定想要降到的维度数量（例如n_components=2），或者指定希望保留的方差比例（例如n_components=0.95表示保留95%的方差）。如果不指定或设置为None，PCA会计算所有主成分。
  5. 拟合PCA模型： 使用标准化后的数据对PCA对象进行fit操作。此时，PCA模型计算出主成分、解释方差等信息。
  6. 转换数据： 使用拟合好的PCA模型对标准化后的数据进行transform操作，得到降维后的数据。
  7. 分析结果： 查看PCA对象的属性，如explained_variance_ratio_（每个主成分解释的方差比例）或绘制解释方差图来帮助选择维度。

重要提示： PCA的训练（fit）应该只在训练数据集上进行。然后使用训练好的PCA模型去转换训练集、验证集和测试集。标准化也应如此，使用训练集的统计量（均值和标准差）去标准化所有数据集。

降维后的数据可以直接用于后续的分析或机器学习模型的输入。

“多少”个主成分才合适？（如何选择维度）

选择保留多少个主成分是应用PCA时一个非常关键的决策，它需要在降维程度和信息保留量之间做权衡。没有一个固定的数字，选择的方法通常包括：

基于解释方差比例：

计算每个主成分解释的方差占总方差的比例，以及累积解释方差比例。

  • 方法： 选择足够多的主成分，使得累积解释方差比例达到一个预设的阈值，例如85%、90%、95%或99%。这取决于你的应用场景和对信息丢失的容忍度。
  • 如何实现： 在许多库中，PCA对象计算后会有属性直接提供每个主成分的解释方差比例，你可以查看这些值并决定。

绘制“碎石图”（Scree Plot）：

碎石图是绘制每个主成分的特征值（或解释方差）与主成分序号的散点图。

  • 方法： 观察图中的“肘部”（elbow point）。肘部是曲线斜率变化最大的地方，通常认为肘部之前的主成分是主要的、重要的成分，而肘部之后的主成分贡献的方差很小，可以被视为噪声或冗余信息，因此可以选择肘部对应的维度数量。
  • 优点： 比较直观，可以帮助决策者根据数据的自然结构来选择。

根据下游任务的性能：

如果PCA是作为另一个机器学习模型（如分类器、聚类算法）的预处理步骤，你可以尝试不同数量的主成分，然后评估下游模型在验证集上的性能（例如准确率、F1分数、聚类质量指标）。选择使下游模型性能最优的主成分数量。

根据可视化需求：

如果进行PCA的目的是为了可视化数据，那么通常选择2个或3个主成分，以便于在二维或三维空间中绘制。

根据经验或规则：

在某些特定领域，可能有经验性的规则来指导维度的选择。但通常不如前几种方法普适和准确。

最终选择多少个主成分，往往是结合以上方法，并考虑实际应用的需求和计算资源的约束来决定的。

PCA主成分分析通常应用在“哪里”？

PCA作为一种基础的降维和特征提取技术，应用领域非常广泛，几乎涵盖所有涉及高维数据分析的场景：

  • 图像处理：

    • 图像压缩： 通过保留少量主成分来表示图像数据，减少存储空间。
    • 人脸识别： 经典的“特征脸”（Eigenfaces）方法就是基于PCA，将人脸图像的高维像素数据降维到低维特征空间进行比对。
    • 图像去噪： 丢弃方差小的主成分有时可以去除图像中的随机噪声。
  • 生物信息学：

    • 基因表达数据分析： 分析高维的基因表达谱数据，发现主要的变异模式或将样本投影到二维/三维空间进行可视化。
    • 群体遗传学： 分析大量的遗传标记数据，探索群体结构和历史迁徙模式。
  • 金融领域：

    • 投资组合管理： 分析多只股票或资产收益率数据，识别主要的风险因子或降低组合维度。
    • 风险管理： 在大量金融指标中找出主要的风险来源。
  • 心理学和社会科学：

    • 问卷调查数据分析： 从大量的问卷题目中找出潜在的、影响受访者回答的几个核心因素或维度。这与因子分析（Factor Analysis）有概念上的联系，但PCA是描述性的，而因子分析常用于探索潜在结构。
  • 信号处理：

    • 从复杂信号中提取主要成分或进行去噪。
  • 机器学习预处理：

    • 作为分类、回归、聚类等算法的输入，减少特征数量，提高模型效率和泛化能力。
    • 在进行聚类分析前，先用PCA降维，可以更好地处理高维数据，避免距离计算在高维空间中的失效。
  • 异常检测：

    • 将数据投影到主成分空间，观察数据在低维空间的分布，异常点可能在主成分方向上表现出与正常点不同的行为，或在被丢弃的低方差方向上具有较大投影。

PCA主成分分析有什么“限制”或“需要注意”的地方？

虽然PCA非常强大且常用，但它并不是万能的，使用时需要注意以下几点：

  • 线性方法： PCA是一种线性变换。它只能找到线性相关的方向来最大化方差。如果数据中的主要结构是非线性的，PCA可能无法有效地捕捉到它。对于非线性降维，可能需要使用其他技术，如流形学习算法（t-SNE, UMAP等）。
  • 对尺度敏感： 前面已经强调过，PCA对特征的尺度非常敏感，所以标准化是必要的数据预处理步骤。
  • 主成分的解释性不强： 新生成的主成分是原始特征的线性组合。除非少数原始特征在某个主成分上的权重（载荷）非常大，否则通常很难直接赋予每个主成分明确的、具有实际意义的解释（例如，“第一个主成分代表了产品的质量，第二个代表了价格”）。它们更多是数学上的最优方向。
  • 假设方差即信息： PCA的核心是找到方差最大的方向。它隐含地假设数据中最重要的信息体现在方差最大的方向上。然而，在某些情况下，方差较小的方向可能包含着关键的信息（例如，区分两个类别的边界可能在方差较小的方向上）。
  • 数据分布： 虽然PCA可以在任何数值型数据上计算，但它在数据大致呈椭球形分布时效果和解释性最好，因为协方差矩阵能很好地捕捉这种线性关系。

理解这些限制有助于我们在选择降维方法时做出更明智的决定，并在使用PCA时避免误解其结果。


pca主成分分析