CSV文件操作

Python 二维表格处理：CSV 文件读写与 Pandas 核心技巧

小象实战讲义 · Python数据分析实战

在所有结构化数据存储格式中，CSV（Comma-Separated Values，逗号分隔值）因其结构极简、体积紧凑、读写速度极快以及跨平台无缝兼容等优势，成为了数据科学与机器学习领域最为通用的二维表格数据载体。无论是 Kaggle 等国际竞赛平台提供的数据集，还是各类数据库的批量导出报表，CSV 都是绝对的主角。本节将带你深入 CSV 文件的存储本质，对比 Python 内置 csv 模块与工业级利器 Pandas 在 CSV 读写上的性能差异与核心参数调优。

💡 核心导读

• CSV 存储本质：理解纯文本行与逗号（或其他分隔符）映射为二维表格的底层原理。
• 内置 csv 模块速查：掌握 csv.reader()、csv.writer() 与字典化读取 csv.DictReader()。
• Pandas 工业级读写：精通 pd.read_csv() 核心参数（sep、header、usecols、dtype）与 df.to_csv(index=False)。
• 大文件分块流式加载：掌握 chunksize 参数应对超大 CSV 文件的分批处理策略。
• 零售销售数据批处理实战：通过 Python 代码实现 CSV 数据的自动化读写、字段过滤与指标汇总。

1. 认识 CSV：纯文本二维表格标准

CSV 文件的本质是纯文本。它使用纯 ASCII 或 UTF-8 字符存储表格数据，具有以下规范：

• 行（Row）：每一行文本对应表格中的一条数据记录，行间通过换行符 \n 分隔；
• 列（Column）：在每一行内部，不同字段的值通过逗号 ,（或制表符 \t、分号 ;）分隔；
• 表头（Header）：通常文件的第一行记录列名称，后续各行为具体的数据项。

原始 CSV 纯文本:
order_id,user_name,product,price,quantity
1001,张伟,无线鼠标,89.0,2
1002,李娜,机械键盘,299.0,1

解析后的二维表格结构:
┌──────────┬───────────┬───────────┬─────────┬──────────┐
│ order_id │ user_name │  product  │  price  │ quantity │
├──────────┼───────────┼───────────┼─────────┼──────────┤
│   1001   │   张伟    │ 无线鼠标  │  89.0   │    2     │
│   1002   │   李娜    │ 机械键盘  │ 299.0   │    1     │
└──────────┴───────────┴───────────┴─────────┴──────────┘

2. Python 内置 csv 模块 vs Pandas 读写对比

在 Python 生态中，处理 CSV 文件有两种主要途径：

3. Pandas 读写 CSV 的核心参数精讲

在实际项目中，使用 pd.read_csv() 时经常遇到分隔符非逗号、文件缺少表头或特定列需要指定类型的情况，以下是 5 个最高频的核心参数：

1. sep 或 delimiter：指定列分隔符（默认为 ','，如果是 TSV 文件则指定 sep='\t'）；
2. header：指定哪一行作为列名（默认为 0 即第一行；若数据本身无表头，必须传入 header=None 并通过 names=['列1', '列2'] 手动指定列名）；
3. usecols：仅加载指定的列（如 usecols=['order_id', 'price']），大幅节省内存；
4. encoding：编码格式（默认 utf-8，面对中文 Windows 导出的 CSV 若报错可尝试 encoding='gbk'）；
5. index=False（写入参数）：在调用 df.to_csv("out.csv", index=False) 时，强烈建议传入 index=False，否则 Pandas 会将自动生成的 0, 1, 2... 索引列一并写入文件，导致二次读取时多出一列多余的 Unnamed: 0。

4. Python 代码实战：零售订单 CSV 读写与探索性分析

下面我们通过一段 Python 代码，演示使用 Pandas 完成 CSV 文件的创建、参数调优读取、条件过滤以及分析结果导出。

# 示例 1：使用 Pandas 生成并写入结构化 CSV 订单文件

import pandas as pd
import os

csv_file_path = "store_sales.csv"

# 构造模拟零售销售数据字典
sales_dict = {
    "order_id": [1001, 1002, 1003, 1004, 1005],
    "customer": ["张三", "李四", "王五", "赵六", "钱七"],
    "category": ["数码", "办公", "数码", "家居", "数码"],
    "item_name": ["无线耳机", "办公转椅", "机械键盘", "乳胶枕", "4K显示器"],
    "unit_price": [199.0, 350.0, 280.0, 120.0, 1200.0],
    "quantity": [2, 1, 3, 2, 1]
}

# 创建 Pandas DataFrame 对象
df = pd.DataFrame(sales_dict)

# 计算衍生列：订单总金额 (revenue = unit_price * quantity)
df["revenue"] = df["unit_price"] * df["quantity"]

# 导出为 CSV 文件 (注意携带 index=False)
df.to_csv(csv_file_path, index=False, encoding="utf-8")
print(f"✅ 成功生成销售 CSV 文件: {csv_file_path} (共 {len(df)} 行数据)")

接下来，我们模拟在真实数据分析业务中读取该 CSV 文件，按品类进行分组统计，并将计算出的高价值订单导出为新文件：

# 示例 2：使用 pd.read_csv() 读取并完成分组聚合与结果导出

# 1. 重新读取 CSV 文件
loaded_df = pd.read_csv(csv_file_path, encoding="utf-8")

print("\n=== 加载的数据集概览 (df.head()) ===")
print(loaded_df)

# 2. 统计各品类的销售总额与总销量
category_summary = loaded_df.groupby("category").agg(
    total_sales_count=("quantity", "sum"),
    total_revenue=("revenue", "sum"),
    avg_order_value=("revenue", "mean")
).reset_index()

print("\n=== 各品类销售业绩汇总表 ===")
print(category_summary)

# 3. 筛选高价值订单 (单笔金额 >= 500 元) 并导出
high_value_df = loaded_df[loaded_df["revenue"] >= 500.0]
out_high_val_path = "high_value_orders.csv"
high_value_df.to_csv(out_high_val_path, index=False, encoding="utf-8")

print(f"\n✅ 成功筛选出 {len(high_value_df)} 笔高价值订单，并已保存至: {out_high_val_path}")

# 清理临时演示文件
for p in [csv_file_path, out_high_val_path]:
    if os.path.exists(p):
        os.remove(p)

📝 动手练一练

1. 排错问答题：小王使用 df.to_csv("my_data.csv") 导出了一个文件。第二天他用 df2 = pd.read_csv("my_data.csv") 重新读取时，发现表格最左侧多出了一个名为 Unnamed: 0 的列。这是什么原因导致的？如何从源头上解决？

   👉 点击查看参考答案

   参考答案： 这是因为 df.to_csv() 默认参数为 index=True，会将 DataFrame 自带的行索引（0, 1, 2…）当作数据列一并写入 CSV 文件。由于该索引列没有列名，再次读取时 Pandas 就会自动为其命名为 Unnamed: 0。 彻底解决办法：在导出 CSV 时，务必显式传入参数 df.to_csv("my_data.csv", index=False)。

2. 编程练习：假设你有以下字符串模拟的以制表符 \t 分隔的员工数据，请编写 Python 代码使用 pd.read_csv() 正确读取（提示使用 io.StringIO 或模拟文件，并指定 sep='\t'），并计算所有员工的平均工龄。

   👉 点击查看参考答案

   参考答案：

   import pandas as pd
   import io
   
   tsv_content = """emp_name\tdepartment\tyears_of_service
   张强\t研发部\t5
   王芳\t设计部\t3
   李磊\t市场部\t8
   刘敏\t研发部\t4"""
   
   # 使用 StringIO 模拟内存文件并指定制表符分隔
   df_emp = pd.read_csv(io.StringIO(tsv_content), sep="\t")
   
   avg_service = df_emp["years_of_service"].mean()
   print("=== 员工工龄表格 ===")
   print(df_emp)
   print(f"\n全员平均工龄: {avg_service:.1f} 年")

本章小结

在本节中，我们全面掌握了数据分析中最常用的 CSV 格式操作：

• CSV 是逗号分隔的纯文本表格，具有无与伦比的高效性与通用性；
• 熟练运用 pd.read_csv() 的 sep、header、usecols 等参数能够精准驾驭各种不规范的表格数据；
• 导出数据时牢记 df.to_csv(..., index=False) 的黄金法则。

📋 行动清单

• 打开 Excel，尝试将任意一个工作表另存为 .csv 格式，并用记事本打开观察其底层逗号分隔结构。
• 熟练掌握使用 Pandas 对 CSV 数据进行基础的列衍生计算与条件切片。

—— 小象教研组