问答 · ANSWER

pandas 怎么删除重复数据?

直接回答
使用drop_duplicates()方法删除重复行,可通过subset指定列,用keep参数控制保留策略(首次、末次或全部删除)。

关键要点

  • 使用drop_duplicates()方法删除重复行。
  • 通过subset参数指定需要检查重复的列。
  • keep参数决定保留哪条重复记录:'first'(默认)、'last'或False。
  • duplicated()方法用于判断重复,返回布尔Series。
  • 删除操作默认生成新DataFrame,inplace=True可原地修改。
  • 业务中需根据场景定义唯一标识列进行去重。

怎么选 / 怎么做

1. 判断重复:data.duplicated(subset=['列1','列2'])。
2. 删除重复:data.drop_duplicates(subset=['列1','列2'], keep='first')。
3. 选择策略:keep='first'保留首次出现;keep='last'保留末次出现;keep=False删除所有重复行。

常见问题

drop_duplicates()默认保留哪条记录?

默认保留首次出现的记录。

如何只根据某几列删除重复?

使用subset参数指定列名列表。

如何删除所有重复行,一条不留?

设置keep=False,删除所有重复行。

深入学

小象教研组整理 · 内容来自课程讲义与企业内训素材,仅供学习参考。