幕雪

格拉布斯准则识别和处理数据异常值的实用指南




【格拉布斯准则】识别和处理数据异常值的实用指南

在进行数据分析时，我们常常会遇到一些数值“看起来不太对劲”的数据点，它们显著偏离了数据集中的其他数值。这些数据点被称为异常值（Outliers）。异常值可能是由于测量错误、数据录入错误，或者是数据集背后真实存在的极端情况。识别和处理异常值是数据预处理中的重要一步，因为它们可能对统计分析结果、模型训练以及最终结论产生重大影响。

格拉布斯准则（Grubbs’ Test），也称为最大标准化残差检验，是统计学中用来检验单变量数据集中是否存在单个显著异常值的一种方法。它提供了一个客观、基于统计的依据来判断某个极端值是否应该被视为异常值。

是什么 (What): 格拉布斯准则究竟是做什么的？

格拉布斯准则是一个统计检验方法，专门设计用来检验单变量（即只有一个测量属性）的定量数据集中是否存在单个显著的异常值。

它关注的是数据集中那个与均值偏离最大的值（无论是最大值还是最小值）。该检验的目的就是判断这个最极端的值是否在统计学意义上显著不同于数据集中的其他值，或者它是否只是数据随机变动中的一部分。

简单来说，格拉布斯准则回答的问题是：“在这个假定服从正态分布的数据集中，与均值偏离最大的那个数据点，其偏离程度是否大到我们无法接受它属于这个数据集的正常波动范围？”

核心概念：G统计量

格拉布斯准则的核心是计算一个称为G统计量的值。这个统计量衡量的是数据集中的最极端值与其均值之间的偏离程度，并将其标准化（除以标准差）。具体计算方法在“如何”部分会详细介绍。

为什么 (Why): 为什么我们需要格拉布斯准则？

为什么不能只凭肉眼或简单的规则（如超出平均值正负3个标准差）来判断异常值呢？

  1. 客观性：肉眼观察或简单的阈值判断都带有主观性。格拉布斯准则提供了一个基于概率理论的客观标准。它量化了某个极端值是正常波动的概率，从而使我们能够根据预设的显著性水平（如 5% 或 1%）做出是否将其视为异常值的判断。
  2. 统计显著性：它不仅仅看数值的绝对大小，更重要的是看它在数据集整体分布中的相对位置和偏离程度是否达到统计学意义上的显著水平。一个在小数据集里看起来很大的偏差，在更大的数据集里可能只是正常变动。格拉布斯准则考虑了样本大小和数据的变异性。
  3. 影响分析：异常值对许多统计量（如均值、方差、相关系数）以及回归分析等模型有很大的影响。一个错误的异常值可能会扭曲分析结果，导致错误的结论或预测。使用格拉布斯准则等统计方法有助于在移除或调整异常值时有更充分的理由，避免随意删除数据。

因此，格拉布斯准则提供了一种在假定数据正态分布前提下，系统性、客观性地识别单个潜在异常值的方法。

哪里 (Where): 格拉布斯准则通常应用在哪些场景？

格拉布斯准则广泛应用于需要对单变量测量数据进行初步清理和质量控制的领域，尤其是在数据量不大且假定数据近似服从正态分布的情况下。

  • 科学实验：在物理、化学、生物等实验中，多次测量同一物理量时，如果某个测量值与其他值差异很大，可以使用格拉布斯准则检验其是否为异常值，可能提示实验过程中出现了意外情况。
  • 工程测量：在进行尺寸、温度、压力等工业测量时，用于检验单个读数是否异常。
  • 质量控制：生产线上产品的某个关键参数的测量值，用于识别可能存在问题的产品。
  • 环境监测：监测某个指标（如空气污染物浓度）时，单个极端读数的检验。

  • 医学检测：实验室检测某个生理指标时，某个样本的极端结果检验（需谨慎应用，异常值可能是病理表现）。

    • 这些场景的共同点是数据通常是单变量的连续数据，且在正常情况下预期会围绕一个均值波动，近似服从正态分布。

    多少 (How much/many): 关于样本量、异常值数量和显著性水平

    样本量要求：

    格拉布斯准则要求数据集至少包含3个数据点（n ≥ 3）。然而，在样本量很小的情况下，检验的效力较低，可能难以检测出真正的异常值。通常认为，当样本量大于或等于 6 或 7 时，格拉布斯准则的应用更为可靠和有意义。

    能检测多少异常值：

    标准（最常用）的格拉布斯准则设计用来检验数据集中是否存在单个异常值。它会识别那个与均值偏离最大的值进行检验。

    如果检测到一个异常值并将其移除后，可以迭代地对剩余的数据集再次运行格拉布斯准则，以查看是否还存在其他异常值。但这需要谨慎进行，每次移除数据都应有充分理由，且需要注意多次检验可能增加发现假阳性的概率。

    存在格拉布斯准则的变体，例如用于检测两个异常值（最大值和最小值，或两个最大值，或两个最小值）的检验，但标准应用主要针对单个异常值。

    显著性水平 (Alpha)：

    选择的显著性水平（通常用 α 表示，如 0.05 或 0.01）会影响检验结果。显著性水平代表了犯第一类错误（即在没有异常值的情况下错误地将其识别为异常值）的最大可接受概率。

    • α 值越大（例如 0.10），检验越宽松，越容易将极端值判断为异常值，但也增加了误判的风险（假阳性）。
    • α 值越小（例如 0.01），检验越严格，需要更强的证据（G统计量更大）才能判断为异常值，降低了误判风险，但也可能遗漏真正的异常值（假阴性）。

    选择合适的 α 值取决于具体的应用场景和对假阳性/假阴性风险的权衡。

    如何 (How to): 如何执行格拉布斯准则检验？

    执行格拉布斯准则检验涉及以下几个步骤：

    1. 陈述假设：

      • 零假设 (H₀): 数据集中没有异常值。
      • 备择假设 (H₁): 数据集中最极端的值是一个异常值。
    2. 选择显著性水平 (α)： 根据实际应用需求，选择一个显著性水平，常见的有 0.05 或 0.01。
    3. 验证假设（可选但推荐）： 格拉布斯准则假设数据来自一个正态分布的总体。虽然在实践中对正态性的要求不是非常严格，但最好检查一下数据的分布。可以使用直方图、Q-Q图或进行正态性检验（如 Shapiro-Wilk 检验）来初步判断。如果数据严重偏离正态分布，格拉布斯准则的结果可能不可靠，此时应考虑其他异常值检测方法。
    4. 计算数据集的均值 (x̄) 和标准差 (s)： 这些统计量需要使用包含所有数据点（包括潜在的异常值）的完整数据集来计算。
    5. 找到最极端的值 (xₑ)： 确定数据集中与均值偏离最大的那个值，即 |最大值 – x̄| 或 |最小值 – x̄| 中的较大者。设这个最极端的值为 xₑ。
    6. 计算格拉布斯统计量 (G)： 使用以下公式计算 G 统计量：

      G = |xₑ – x̄| / s

      这里，|xₑ – x̄| 是最极端值与均值之差的绝对值，s 是包含所有数据点的标准差。

    7. 确定临界值： 格拉布斯准则的临界值取决于样本大小 (n) 和选择的显著性水平 (α)。这些临界值通常可以从专门的格拉布斯准则临界值表中查找，或者通过统计软件或特定的统计函数计算得出。临界值实际上是基于 t 分布导出的。对于一个给定的 n 和 α，如果计算出的 G 值大于查到的临界值，我们就有足够的证据拒绝零假设。
    8. 做出判断： 将计算出的 G 统计量与查到的临界值进行比较。

      • 如果 G > 临界值，则拒绝零假设 (H₀)，得出结论：在选定的显著性水平 α 下，最极端的值 xₑ 是一个统计学意义上的显著异常值。
      • 如果 G ≤ 临界值，则无法拒绝零假设 (H₀)，得出结论：没有足够的统计证据表明最极端的值 xₑ 是一个显著异常值。

    结果的解读和后续步骤：

    如果格拉布斯准则表明某个数据点是异常值，下一步不是立即删除它。而是应该进一步调查其原因。原因可能包括：

    • 数据录入错误：检查原始记录并纠正。
    • 测量或实验错误：可能是设备故障、操作失误等，如果能确定是错误，可以删除该数据点。
    • 真实但极端的事件：数据点可能反映了研究对象真实的、但极端的属性或行为。在这种情况下，是否删除或如何处理需要根据研究目的和领域知识来决定。有时需要保留，有时需要专门分析，有时则需要使用对异常值不敏感的统计方法。

    只有在确定异常值是由于错误引起，或者根据领域知识判断其不应该出现在数据集中时，才可以考虑将其删除或替换（如使用缺失值处理方法）。如果怀疑存在多个异常值，并且排除了单个异常值后还想继续检验，可以考虑使用迭代的格拉布斯检验或更适合检测多个异常值的检验方法（如 Rosner’s test）。

    怎么 (What about): 关于前提、局限性与替代方法

    在使用格拉布斯准则时，了解其潜在的问题和局限性至关重要。

    前提假设：

    格拉布斯准则的有效性很大程度上依赖于以下几个前提：

    • 数据是单变量定量数据。
    • 数据来自一个近似服从正态分布的总体。如果数据分布与正态分布差异很大（例如，严重偏态或多峰），格拉布斯准则的 p 值（用于确定临界值）可能不准确，导致检验结果不可靠。
    • 数据点是独立同分布的。

    在应用前，对数据的分布进行初步探索和正态性检验是推荐的做法。

    局限性：

    尽管有用，格拉布斯准则也存在一些局限：

    • 主要针对单个异常值： 标准的格拉布斯准则一次只能检验最极端的一个值。如果数据集中存在多个异常值，可能会出现“掩蔽效应”（Masking），即一个或多个异常值会影响均值和标准差的计算，使得最极端的那个异常值的 G 统计量不够大，从而无法被检测出来。
    • “冲刷效应”（Swamping）： 与掩蔽效应相反，如果数据中存在真正的异常值，它可能会导致非异常值看起来像是异常值，从而被错误地识别（特别是在小样本中）。
    • 对正态性敏感： 如前所述，如果数据非正态，检验结果可能不可靠。
    • 不适用于分类数据或非定量数据。

    替代方法：

    考虑到格拉布斯准则的局限性，特别是当数据不满足正态性假设或怀疑存在多个异常值时，可以考虑其他异常值检测方法：

    • Dixon’s Q 检验： 适用于样本量更小（通常 n ≤ 30）且假定正态分布的数据集，同样主要用于检验单个异常值。
    • ESD (Extreme Studentized Deviate) 检验 / Rosner’s 检验： 是一种更通用的检验，能够检测数据集中是否存在一个或多个异常值。使用该方法需要预先指定或估计数据集中可能存在的异常值数量的最大值 (k)。它对掩蔽效应有更好的抵抗能力。
    • 基于鲁棒统计量的方法： 使用对异常值不敏感的统计量（如中位数、四分位数范围 IQR）来定义异常值。例如，常用的方法是将超出箱线图“须”范围外的点视为潜在异常值（通常是小于 Q1 – 1.5*IQR 或大于 Q3 + 1.5*IQR 的点）。这种方法不依赖于正态分布假设，但它不是一个正式的统计检验，更多是一种经验法则。
    • 多变量异常值检测方法： 如果处理的是多变量数据，需要使用如 Mahalanobis 距离、主成分分析（PCA）或各种聚类算法（如 DBSCAN）来检测异常值。

    选择哪种方法取决于数据的类型、样本量、对数据分布的了解以及可能存在的异常值数量。

    总而言之，格拉布斯准则是一个在假定数据正态分布且样本量适中的情况下，用于客观识别单个最极端数据点是否为统计学意义上异常值的有用工具。理解其前提、局限性以及替代方法，能够帮助数据分析人员更恰当地应用这一准则，从而提高数据分析的质量和可靠性。


    格拉布斯准则