问答 · ANSWER
pandas 怎么删除重复数据?
直接回答
使用drop_duplicates()方法删除重复行,可通过subset指定列,用keep参数控制保留策略(首次、末次或全部删除)。
关键要点
- 使用
drop_duplicates()方法删除重复行。 - 通过
subset参数指定需要检查重复的列。 keep参数决定保留哪条重复记录:'first'(默认)、'last'或False。duplicated()方法用于判断重复,返回布尔Series。- 删除操作默认生成新DataFrame,
inplace=True可原地修改。 - 业务中需根据场景定义唯一标识列进行去重。
怎么选 / 怎么做
1. 判断重复:data.duplicated(subset=['列1','列2'])。
2. 删除重复:data.drop_duplicates(subset=['列1','列2'], keep='first')。
3. 选择策略:keep='first'保留首次出现;keep='last'保留末次出现;keep=False删除所有重复行。
常见问题
drop_duplicates()默认保留哪条记录?
默认保留首次出现的记录。
如何只根据某几列删除重复?
使用subset参数指定列名列表。
如何删除所有重复行,一条不留?
设置keep=False,删除所有重复行。