皮尔森相关系数，通常用 r (样本皮尔森相关系数) 或 ρ (总体皮尔森相关系数) 表示，是一个广泛应用于统计学中的重要工具。它提供了一种量化两个数值变量之间 线性关系 的强度和方向的方法。掌握皮尔森系数不仅仅是理解一个统计概念，更是在数据分析实践中判断变量关联性的基础。
围绕皮尔森系数，人们常常会提出一些实际操作和理解层面的问题。以下将围绕这些核心疑问，详细展开对皮尔森系数的探讨。
皮尔森系数是什么？
简单来说，皮尔森系数是一种标准化后的协方差。它测量的是两个连续型数值变量之间 线性关联的强度和方向。想象你在二维坐标系上绘制了两个变量的数据点（散点图），皮尔森系数试图衡量这些点在多大程度上沿着一条直线分布。它回答的问题是：“当一个变量增加时，另一个变量是否也趋向于线性地增加或减少？”
它的取值范围固定在 -1 到 +1 之间，这是一个重要的标准化特性，使得不同数据集计算出的相关系数可以直接比较。
它有哪些重要的性质？
皮尔森系数作为衡量线性关联的指标，拥有几个关键性质：
-
值域范围： 皮尔森系数的取值范围总是介于 -1 到 +1 之间，即 [-1, +1]。
-
线性关系： 它只衡量变量之间的 线性关系。如果两个变量之间存在很强的非线性关系（例如抛物线、指数曲线），皮尔森系数可能会接近于 0，这并不能说明它们之间没有关系，只是没有线性关系。
-
对称性： 变量 X 与变量 Y 的皮尔森系数与变量 Y 与变量 X 的皮尔森系数相等，即 r(X, Y) = r(Y, X)。
-
不受量纲影响： 皮尔森系数是一个无量纲的量。无论你的数据单位是米、厘米、公斤还是磅，计算出的皮尔森系数值是相同的。这是因为在计算过程中，数据被标准化了。
-
对线性和缩放变换的保持性： 如果对变量进行线性的单位变换 (例如将摄氏度转换为华氏度)，皮尔森系数值不会改变。
皮尔森系数是如何计算出来的？
皮尔森系数的计算涉及到两个变量的协方差和各自的标准差。其基本公式可以概念化地表示为：
皮尔森系数 (r) = 两个变量的协方差 / (变量X的标准差 * 变量Y的标准差)
用数学符号表示，对于样本数据：
r = Σ[(xi – mean(X)) * (yi – mean(Y))] / [sqrt(Σ(xi – mean(X))²) * sqrt(Σ(yi – mean(Y))²)]
其中：
- xi 和 yi 分别代表第 i 个数据点中变量 X 和变量 Y 的值。
- mean(X) 和 mean(Y) 分别代表变量 X 和变量 Y 的平均值。
- Σ 表示求和。
- 分子计算的是两个变量的协方差（去除自由度的部分）。
- 分母计算的是两个变量标准差的乘积。
这个公式本质上是将变量 X 和 Y 都进行标准化（减去均值并除以标准差，虽然公式里没有直接除以标准差而是通过分母实现相同的效果），然后计算它们标准化后的乘积的平均值。标准化是为了消除量纲和变量自身波动大小的影响，只关注它们同步变化的程度。
如何利用工具快速计算？
手动计算皮尔森系数对于少量数据是可行的，但对于大量数据则非常繁琐且容易出错。在实际应用中，通常依赖于各种统计软件和编程库来快速准确地计算。常见的工具包括：
-
Microsoft Excel： 使用内置函数
CORREL(array1, array2)即可计算两个数据列的皮尔森相关系数。 -
Python： 这是数据科学中最常用的工具之一。可以使用 NumPy 库的
numpy.corrcoef(x, y)函数，或者 Pandas 库 DataFrame 对象的df['column1'].corr(df['column2'])方法，或者计算整个DataFrame的相关系数矩阵df.corr()。 -
R 语言： 统计分析的强大工具。使用
cor(x, y, method="pearson")函数，其中 method=”pearson” 是默认值。 -
SPSS, SAS, Stata 等专业统计软件： 这些软件都有直观的菜单或命令来执行相关性分析，通常在“分析”->“相关”菜单下选择“双变量”即可。
-
在线计算器： 也有一些网站提供在线的皮尔森系数计算工具，方便临时使用。
使用这些工具时，只需提供两列对应的数值数据即可。
皮尔森系数的数值怎么解读？
皮尔森系数值的大小和符号包含了关于两个变量线性关系的重要信息：
-
符号 (正负)：
- 正值 (r > 0)： 表示存在 正相关。当一个变量的值增加时，另一个变量的值也趋向于增加；当一个变量的值减少时，另一个变量的值也趋向于减少。
- 负值 (r < 0)： 表示存在 负相关。当一个变量的值增加时，另一个变量的值趋向于减少；当一个变量的值减少时，另一个变量的值趋向于增加。
- 零值 (r ≈ 0)： 表示两个变量之间 没有线性关系。这并不意味着它们之间没有任何关系，只是线性关系不显著。
-
绝对值 (|r|) (强度)： 绝对值的大小表示线性关系的 强度 或紧密程度。
- |r| = 1： 表示完全线性相关。数据点在散点图上完全落在一1条直线上。|r|=1 意味着完美的正线性关系，|r|=-1 意味着完美的负线性关系。
- |r| 接近 1 (例如 0.8, -0.9)： 表示 强线性相关。数据点紧密地聚集在一条直线的周围。
- |r| 适中 (例如 0.4, -0.5)： 表示 中等线性相关。数据点围绕着一条直线分布，但分散度比强相关时要大。
- |r| 接近 0 (例如 0.1, -0.05)： 表示 弱线性相关，或者没有线性关系。数据点在散点图上非常分散，没有明显的线性趋势。
关于“强”、“中等”、“弱”相关的具体数值界限，并没有 universally accepted 的严格标准，通常会根据研究领域和具体数据来判断。但一些常用的经验法则（仅供参考，非绝对）：
- |r| > 0.7: 强相关
- 0.3 < |r| ≤ 0.7: 中等相关
- |r| ≤ 0.3: 弱相关 或 无线性相关
解读皮尔森系数值时，总是结合散点图来观察数据的实际分布情况，这有助于避免误判，特别是当存在非线性关系或异常值时。
皮尔森系数的数值大小意味着什么？
皮尔森系数值的绝对值直接反映了数据点在散点图上向一条直线靠拢的程度。数值越大（越接近1或-1），点越紧密地围绕着某条直线分布；数值越小（越接近0），点越分散，线性趋势越不明显。
-
|r| = 1： 所有点都在一条直线上。
示例： 10个学生的身高(厘米)和将身高转换为米的数据。
-
|r| 高 (例如 0.8 或 -0.8)： 点形成一个狭长的、倾斜的椭圆形状，中心线接近一条直线。
示例： 广告投入与销售额之间（通常正相关且较强），如果关系比较稳定。
-
|r| 中 (例如 0.5 或 -0.5)： 点形成一个较宽的、倾斜的椭圆形状。
示例： 学生每天学习时间和考试分数之间（通常正相关且可能中等）。
-
|r| 低 (例如 0.1 或 -0.1)： 点在散点图上看起来像一个圆形或随机分布的云状。
示例： 一个人脚的大小和他的智商之间（预期是弱相关或无线性相关）。
记住，皮尔森系数描述的是 线性 趋势的强度。即使两个变量之间有非常明显的曲线关系，皮尔森系数也可能很低。
皮尔森系数常用于哪些地方？
皮尔森系数因其简单易懂和广泛适用性，在许多领域的数据分析中扮演着基础角色：
-
统计学研究： 用于初步探索两个变量之间是否存在线性关联，为进一步的回归分析等奠定基础。
-
金融领域： 分析不同股票或资产之间的相关性，评估投资组合的风险分散程度。
-
心理学与社会学： 研究不同性格特征、社会经济因素与行为结果之间的关联。
-
医学与生物学： 分析基因表达水平与疾病严重程度、药物剂量与疗效等之间的关系。
-
市场调研： 分析用户对某个产品特性的评分与总体满意度之间的相关性。
-
工程学： 分析材料属性与产品性能之间的关系。
-
质量控制： 分析生产过程中的两个测量指标是否相关。
在很多场景下，计算皮尔森系数是数据探索性分析的第一步。
使用皮尔森系数需要警惕什么？
尽管皮尔森系数非常有用，但在使用时必须注意其局限性，避免误导性的结论：
-
非线性关系： 皮尔森系数只能准确捕捉线性关系。如果你的数据是非线性相关的，即使关系很强，皮尔森系数也可能接近于零。务必结合散点图来观察数据的实际分布形态。
例如，一个变量随另一个变量先增加后减少（抛物线），皮尔森系数可能很低，但它们显然有关联。
-
异常值 (Outliers)： 皮尔森系数对异常值非常敏感。数据集中少数几个远离其他点的异常值可能会显著地夸大或压低相关系数的值。在计算皮尔森系数之前，检查并适当处理异常值通常是必要的。
-
相关不等于因果： 这是一个最常被误解的点。即使两个变量之间存在很强的皮尔森相关性，也不能断定一个变量是另一个变量的 原因。可能存在第三个变量同时影响了这两个变量，或者相关性只是巧合。皮尔森系数只能说明关联性，无法推断因果关系。
例如，冰淇淋销量和溺水人数之间可能呈正相关，但这并不是说吃冰淇淋导致溺水，而是因为夏季气温升高同时增加了冰淇淋销量和游泳的人数（从而增加了溺水事件的概率）。气温是隐藏的共同原因。
-
数据类型： 皮尔森系数要求数据是 连续型 或至少是 定距/定比 的数值变量。它不适用于类别型数据或简单的定序数据。
-
数据分布： 虽然皮尔森系数本身不强制要求数据服从正态分布（它度量的是线性关系本身），但在进行相关的统计显著性检验（例如计算p-值）时，常常会假设数据服从正态分布。如果数据严重偏离正态分布，显著性检验的结果可能不可靠。
-
样本容量： 样本容量过小可能会导致计算出的相关系数不稳定，对总体的代表性不足。通常需要有足够的样本点才能得出可靠的结论。
皮尔森系数与协方差有什么区别？
正如前面提到的，皮尔森系数是标准化后的协方差。理解它们的区别有助于更好地把握皮尔森系数的作用：
-
协方差 (Covariance)： 衡量两个变量 共同变化的方向。协方差为正表示两者同向变化（一个增加另一个也增加，或一个减少另一个也减少），协方差为负表示两者反向变化，协方差接近零表示两者线性关联不明显。协方差的 数值大小没有标准化，它受变量自身量纲的影响很大。协方差的单位是两个变量单位的乘积，这使得不同数据集的协方差数值无法直接比较，也不能直接判断相关性的强度。
-
皮尔森系数 (Pearson Coefficient)： 在协方差的基础上，除以了两个变量各自的标准差。这个 标准化过程消除了量纲的影响，将结果缩放到 [-1, +1] 的固定区间内。因此，皮尔森系数不仅告诉我们两个变量 共同变化的方向 (通过正负号)，更重要的是，它的 绝对值直接反映了线性关系的强度，使得我们可以比较不同变量对之间的关联强弱。
可以理解为：协方差告诉你两个变量是不是“一起动”，皮尔森系数告诉你它们是不是“按一条直线一起动”，以及“一起动的程度有多大”，并且这个“程度”是有标准尺度的。
总而言之，皮尔森相关系数是一个强大且常用的工具，用于量化两个数值变量之间的线性关系。理解它的定义、性质、计算方法、结果解读以及潜在的局限性，对于进行有效的数据分析和避免错误的结论至关重要。在使用它之前，总是建议先绘制散点图来直观检查数据的分布和潜在的非线性或异常值。
