实战：互联网电影资料库分析

第6章综合实战：互联网电影资料库多维票房与评分深度探索分析

小象实战讲义 · Python数据分析实战

在系统掌握了 Pandas 高阶数据规整体系——包括 MultiIndex 分层索引、Split-Apply-Combine 分组聚合与变换（agg、transform、filter）、多维数据透视表（pivot_table）、表连接与堆叠（merge、concat、stack）之后，本节我们将迎来第 6 章的压轴综合大实战——《互联网电影资料库（IMDb / Douban Movie）多维商业数据深度探索分析》。我们将使用经典的电影工业数据集（涵盖电影名称、上映年份、导演、主演、类型标签、用户评分、投票人数与全球票房等核心维度），综合运用全套 Pandas 高阶技能，完成从数据清洗、多类型拆分、导演/类型交叉分析到年度商业票房洞察的端到端项目实战。

💡 核心导读

• 实战业务目标：深度剖析全球电影工业在不同类型、年代、导演维度的口碑评分与票房回报规律。
• 数据工程四大核心步骤：
  • 1. 数据加载与多字段清洗（处理包含多类型的字符串分割与展开）；
  • 2. 导演与类型维度的 groupby().agg() 多重汇总（计算作品数、均分与总票房）；
  • 3. 构建年代与类型的二维 pivot_table 动态透视矩阵；
  • 4. 使用 transform() 衍生电影在同类型内部的相对评分排名。
• 高内聚可直接执行的端到端代码实战。

1. 电影数据集构建与类型字段规整

为了保证代码零环境依赖可复现，我们在内存中构建包含代表性电影工业样本的数据集：

┌─────────────────────────────────────────────────────────────┐
│                 电影数据库核心分析维度                      │
├─────────────────────────────────────────────────────────────┤
│ 1. title       : 电影名称 (如 "星际穿越", "盗梦空间")       │
│ 2. release_year: 上映年份 (2010 ~ 2023)                     │
│ 3. director    : 导演姓名 (如 "诺兰", "卡梅隆")             │
│ 4. genres      : 题材标签 (如 "科幻|冒险", "剧情|犯罪")     │
│ 5. rating      : 观众评分 (0 ~ 10 分)                       │
│ 6. box_office  : 全球票房 (百万美元)                        │
└─────────────────────────────────────────────────────────────┘

import pandas as pd
import numpy as np

# 1. 构建电影工业样本数据集
raw_movies = {
    "title": ["星际穿越", "盗梦空间", "阿凡达", "泰坦尼克号", "流浪地球", "流浪地球2", "楚门的世界", "肖申克的救赎", "教父", "奥本海默"],
    "release_year": [2014, 2010, 2009, 1997, 2019, 2023, 1998, 1994, 1972, 2023],
    "director": ["诺兰", "诺兰", "卡梅隆", "卡梅隆", "郭帆", "郭帆", "彼得·威尔", "弗兰克", "科波拉", "诺兰"],
    "main_genre": ["科幻", "科幻", "科幻", "爱情", "科幻", "科幻", "剧情", "剧情", "犯罪", "传记"],
    "rating": [9.4, 9.3, 8.8, 9.5, 7.9, 8.3, 9.3, 9.7, 9.3, 8.8],
    "box_office": [730.0, 836.0, 2923.0, 2257.0, 700.0, 600.0, 264.0, 58.0, 250.0, 957.0]
}

df_movies = pd.DataFrame(raw_movies)
print("=== 1. 原始电影数据集概览 ===")
print(df_movies)
print("\n数据信息摘要:")
df_movies.info()

2. 多维分组聚合、透视分析与组内特征衍生

我们综合运用 groupby、agg、pivot_table 与 transform 对导演实力与题材票房进行全景探索。

# 1. 导演多维战力分析：作品数、平均评分、总票房 (agg)
director_stats = df_movies.groupby("director").agg(
    movie_count=("title", "count"),
    avg_rating=("rating", "mean"),
    total_box_office=("box_office", "sum")
).sort_values(by="total_box_office", ascending=False)

print("=== 2. 顶级导演票房与口碑排行榜 (agg) ===")
print(director_stats.round(2))

# 2. 构建 (主类型 x 导演) 票房透视表 (pivot_table)
pivot_genre_dir = pd.pivot_table(
    df_movies,
    values="box_office",
    index="main_genre",
    columns="director",
    aggfunc="sum",
    fill_value=0,
    margins=True,
    margins_name="品类总票房"
)

print("\n=== 3. 题材与导演票房交叉透视表 (百万美元) ===")
print(pivot_genre_dir)

# 3. 使用 transform 计算每部电影相对于同题材平均分的溢价得分
df_movies["genre_avg_rating"] = df_movies.groupby("main_genre")["rating"].transform("mean")
df_movies["rating_premium"] = df_movies["rating"] - df_movies["genre_avg_rating"]

print("\n=== 4. 组内相对口碑溢价评分 (transform) ===")
print(df_movies[["title", "main_genre", "rating", "genre_avg_rating", "rating_premium"]].round(2))

📝 动手练一练

1. 业务思考题：在电影数据分析中，很多电影同时拥有多个类型标签（如 ‘科幻|悬疑|冒险’）。如果想要统计每个单独标签的电影总数与平均分，应该使用 Pandas 的哪个字符串方法将该列拆分展开成多行？

   👉 点击查看参考答案

   参考答案： 使用 df.assign(genres=df['genres'].str.split('|')).explode('genres')。str.split('|') 将字符串拆分为列表，接着调用 explode() 可以将列表中的每一个元素炸开重塑为独立的一行。

2. 综合编程练习：请在 df_movies 中筛选出票房大于 5 亿美元且评分大于 9.0 分的“双十佳超级大片”清单。

   👉 点击查看参考答案

   参考答案：

   blockbusters = df_movies[(df_movies['box_office'] > 500) & (df_movies['rating'] > 9.0)]
   print(blockbusters[['title', 'director', 'rating', 'box_office']])

本章小结

• 综合贯通了 MultiIndex、GroupBy、agg 与 pivot_table 在真实行业项目中的协同运用；
• 熟练掌握了利用 transform() 开展同品类基准对标与溢价度量的高阶技巧；
• 具备了处理复杂高维商业数据清洗、多表连接与多维建模的成熟分析能力。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 复习第 6 章全部 10 节内容，准备进入第 7 章《数据可视化》，开启图表呈现新篇章！

—— 小象教研组