运算与对齐

Pandas 数据运算与自动对齐：算术方法、填充值 fill_value 与广播机制精讲

小象实战讲义 · Python数据分析实战

在真实的数据分析业务中，我们经常需要将两个来自不同时间、不同渠道或不同部门的数据集进行合并计算（如本月销售额减去上月销售额、各商品单价乘以销量）。与普通的矩阵计算不同，Pandas 最具威力的核心特性之一就是自动数据对齐（Data Alignment）。无论两个参与计算的 Series 或 DataFrame 拥有何种顺序和维度的标签，Pandas 都会自动按照标签进行交集/并集对齐。本节我们将深入探讨对齐机制、算术运算方法与填充值技巧。

💡 核心导读

• 自动数据对齐（Index Alignment）法则：
  • 标签同时存在于两个对象中：正常执行数值计算；
  • 标签仅存在于某一个对象中：对齐结果自动标记为 NaN（不丢失信息）。
• 带填充值的算术方法族：.add()、.sub()、.mul()、.div() 配合 fill_value 参数消除无意义的 NaN。
• DataFrame 与 Series 之间的跨维广播运算：默认沿 axis=1（按行广播）与使用 axis=0（按列广播）。

1. 自动数据对齐与算术方法实战

当两个 Series 或 DataFrame 使用运算符（+、-、*、/）相加时，Pandas 会对行索引与列索引求并集：

┌─────────────────────────────────────────────────────────────┐
│                 Pandas 自动索引对齐相加模型                 │
├─────────────────────────────────────────────────────────────┤
│  Series A:               Series B:               结果 (A + B)│
│  '北京': 100             '北京': 50              '北京': 150 │
│  '上海': 200      +      '广州': 80        =     '上海': NaN │
│                                                  '广州': NaN │
└─────────────────────────────────────────────────────────────┘

# 示例 1：Series 自动对齐与 fill_value 消除 NaN

import pandas as pd
import numpy as np

# 两个季度的各门店销售额 (门店清单不完全相同)
q1_sales = pd.Series({"门店A": 120, "门店B": 85, "门店C": 200})
q2_sales = pd.Series({"门店B": 95, "门店C": 210, "门店D": 150})

print("=== 1. 原生 + 运算符 (未重合项产生 NaN) ===")
print(q1_sales + q2_sales)

# 使用带 fill_value 的 add 方法：缺失项视为 0 参与计算
total_sales = q1_sales.add(q2_sales, fill_value=0)
print("\n=== 2. 使用 add(fill_value=0) 避免 NaN ===")
print(total_sales)

2. DataFrame 与 Series 之间的广播运算

DataFrame 与 Series 进行算术运算时，默认会将 Series 的 Index 与 DataFrame 的 Columns 进行对齐，并沿行向下广播。若要按列对齐，需显式指定 axis='index' 或 axis=0。

# 示例 2：DataFrame 与 Series 跨维广播运算

# 创建商品价格与折扣表
df_prices = pd.DataFrame({
    "原价": [100, 250, 400],
    "运费": [10, 15, 20]
}, index=["商品1", "商品2", "商品3"])

# 定义各列的统一打折系数
discounts = pd.Series({"原价": 0.8, "运费": 1.0})

print("=== 3. 默认按列名对齐并按行广播 (df * Series) ===")
discounted_df = df_prices * discounts
print(discounted_df)

# 计算每个商品相对于平均原价的离差 (按行索引对齐，需指定 axis=0)
avg_per_product = df_prices.mean(axis=1)
deviation_df = df_prices.sub(avg_per_product, axis=0)
print("\n=== 4. 沿 axis=0 广播计算行内离差 ===")
print(deviation_df)

📝 动手练一练

1. 概念思考题：在两个 DataFrame 相乘时，df1 * df2 与 df1.mul(df2, fill_value=1) 的关键区别是什么？

   👉 点击查看参考答案

   参考答案：

   • df1 * df2：只要某个单元格在任一 DataFrame 中缺失，乘积结果直接变为 NaN；
   • df1.mul(df2, fill_value=1)：如果某单元格只在其中一个 DataFrame 中存在，会将另一个缺失方视为乘法单位元 1 参与计算，从而保留已有数值。

2. 编程练习：给定 DataFrame 和一个行均值 Series，请使用 .div(..., axis=0) 将 DataFrame 的每一行除以其对应的行均值进行归一化。

   👉 点击查看参考答案

   参考答案：

   import pandas as pd
   df = pd.DataFrame({'A': [10, 20], 'B': [30, 40]})
   row_means = df.mean(axis=1)
   norm_df = df.div(row_means, axis=0)
   print(norm_df)

本章小结

• 深刻理解了 Pandas 自动数据对齐的核心机制与数学本质；
• 掌握了 .add()、.sub() 等方法中 fill_value 消除 NaN 的技巧；
• 熟练运用 DataFrame 与 Series 在 axis=0 与 axis=1 维度上的双向广播。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《Pandas 函数应用操作(1)：Series.map() 映射转换》！

—— 小象教研组