第11讲:缺失值处理—NA的识别、删除与填补

数据分析与R语言

2026年10月8日

本讲导览

  • 一、前课测验——四道小题(5 min)
  • 二、问题导入——一个 NA 就能让整列合计报废(12 min)
  • 三、识别——summary() 与 is.na()(18 min)
  • 四、删除——na.omit() / drop_na() / filter()(12 min)
  • 五、填补——应用 if_else()·case_when()、fill()、分组均值(20 min)
  • 六、综合实战——用 airquality 走全流程(15 min)
  • 七、课堂总结——成果自查与 Exit Ticket(8 min)

重要

今天是项目三“数据清洗”的开篇课。项目二教会我们“准备”数据,但现实数据往往还不“干净”:有缺失、有异常、有重复。

面对缺失,本讲讲五套办法:

方案 改不改数据 什么时候用
① 不处理 na.rm = TRUE 不改 只想算个数,不碰原表
② 删除 na.omit() / drop_na() / filter() 改 缺失随机、且删得起
③ 填固定值 if_else() / case_when() 改 业务上“缺就是某个确定值”
④ 前值填充 fill() 改 报表省略造成的结构性缺失
⑤ 分组均值 group_by() + if_else() 改 表里有分组/季节结构

一、前课测验

group_by() 与合并、重塑

1.1 选择题(第 9 讲回顾)

1. group_by(region) %>% summarise(组均值 = mean(revenue)) 和 group_by(region) %>% mutate(组均值 = mean(revenue)),输出的行数有什么不同?

A. summarise() 和 mutate() 都保留原表的所有行
B. summarise() 每组收成一行(行数 = 组数),mutate() 保留原表的所有行
C. summarise() 保留原表的所有行,mutate() 每组收成一行
D. 两者行数完全相同,都等于组数

2. 下面两种写法,revenue 这一列的结果有什么不同?

# 写法 A
df %>% mutate(revenue = if_else(is.na(revenue), 0, revenue))

# 写法 B
df %>% mutate(revenue_filled = if_else(is.na(revenue), 0, revenue))

A. 写法 A 新增了 revenue_filled 列,原 revenue 列不变;写法 B 覆盖了 revenue 列
B. 写法 A 覆盖了原 revenue 列,真实数字被替换;写法 B 保留原 revenue 列,新增 revenue_filled 列
C. 两种写法都会覆盖原 revenue 列
D. 两种写法都会新增 revenue_filled 列,原 revenue 列都不变

1.2 填空题(第 10 讲回顾)

3. left_join(A, B) 合并两表时,A 里那些在 B 中找不到匹配的行会______(保留/删除),B 带过来的列里会填进______。

💡 这正是今天的主题:合并没对上,就是缺失值最常见的真实来源之一。

4. 把”宽表”变成”长表”用 ____________(),反过来用 ____________()。

二、问题导入——一个 NA 就能让整列合计报废

先不谈怎么处理,先看看“不处理”的后果

2.1 造一份“有缺失”的财务表

▶️ 查看代码
company_data <- data.frame(
  company = c("锦城科技", "蜀汉制造", "天府物流", "青羊金融", "锦江生物", "浣花实业",
              "锦西商贸", "蜀都餐饮", "青城建材", "天府冷链",
              "锦江农产", "浣花纺织", "锦西物流", "蜀汉电子", "青羊置业", "天府食品"),
  region  = c("华东", "西南", "西南", "华东", "西南", "华东",
              "西南", "西南", "华东", "西南",
              "华东", "华东", "西南", "西南", "华东", "西南"),
  revenue = c(1200, NA, 1560,  760, NA,  892, 1340, 680, NA, 2100,
               450,  980,  NA, 1720, 560, 1380),
  cost    = c( 800, 650,   NA,  500, 900,  620,  880,  NA, 720, 1350,
               310,  640, 760,   NA, 390,  910),
  rating  = c("A", "B", "A", "C", "A", "B", "B", "C", "A", "A",
               "C", "B", "C", "A", "C", "B")
)

company_data    # 16 家公司;revenue 缺 4 家、cost 缺 3 家
    company region revenue cost rating
1  锦城科技   华东    1200  800      A
2  蜀汉制造   西南      NA  650      B
3  天府物流   西南    1560   NA      A
4  青羊金融   华东     760  500      C
5  锦江生物   西南      NA  900      A
6  浣花实业   华东     892  620      B
7  锦西商贸   西南    1340  880      B
8  蜀都餐饮   西南     680   NA      C
9  青城建材   华东      NA  720      A
10 天府冷链   西南    2100 1350      A
11 锦江农产   华东     450  310      C
12 浣花纺织   华东     980  640      B
13 锦西物流   西南      NA  760      C
14 蜀汉电子   西南    1720   NA      A
15 青羊置业   华东     560  390      C
16 天府食品   西南    1380  910      B

表中还留着两列暂时用不到:region 区分华东/西南,rating 分 A/B/C 三级——后面填固定值和分组填补时会用到。

2.2 一个 NA 毁掉整列的合计

财务人员最常做的动作就是求和——一个 NA 就能让整列合计变成 NA:

▶️ 查看代码
sum(company_data$revenue)
[1] NA
▶️ 查看代码
mean(company_data$revenue)
[1] NA

2.3 【即时练习 1】

  1. 一列 100 个数里有 2 个 NA,sum() 会得到什么?mean() 会得到什么?

三、识别缺失——summary() 与 is.na()

看清缺在哪、缺多少

3.1 先用 summary()

summary() 是 R 自带的“体检报告”,已经把每个数值列的缺失数算好了:

▶️ 查看代码
summary(company_data)
      company         region      revenue          cost            rating  
 Length   :16   Length   :16   Min.   : 450   Min.   : 310   Length   :16  
 N.unique :16   N.unique : 2   1st Qu.: 740   1st Qu.: 620   N.unique : 3  
 N.blank  : 0   N.blank  : 0   Median :1090   Median : 720   N.blank  : 0  
 Min.nchar: 4   Min.nchar: 2   Mean   :1135   Mean   : 725   Min.nchar: 1  
 Max.nchar: 4   Max.nchar: 2   3rd Qu.:1425   3rd Qu.: 880   Max.nchar: 1  
                               Max.   :2100   Max.   :1350                 
                               NAs    :4      NAs    :3                    

看数值列的最后一行——NAs : 4(revenue)和 NAs : 3(cost)。

重要

  • summary() 的优点:不用记新函数,一个命令看全表——先用它扫一遍。

  • 它的局限:只给个数,不告诉你缺在哪几行、也不给比例。

  • 所以看完 summary() 通常还要追问——“那 4 个 NA 具体是哪几家?占多少?”

3.2 【即时练习 2】用 summary() 摸清 airquality

R 内置的 airquality——1973 年纽约的空气质量日观测,153 行、6 列。它是本讲练习的“主数据”。

  1. 对 airquality 跑一次 summary(),哪些列有缺失?各缺几个?
  2. 它和 2.1 的 company_data 相比,缺失的严重程度有什么不同?

3.3 只看某一列:is.na() 与 sum()

既然 summary() 说不清“在哪几行”,那就自己点名问。is.na(x) 对一列逐格判断,配 sum() 数个数:

▶️ 查看代码
is.na(company_data$revenue)                    # 逐格判断:哪几个是 NA
 [1] FALSE  TRUE FALSE FALSE  TRUE FALSE FALSE FALSE  TRUE FALSE FALSE FALSE
[13]  TRUE FALSE FALSE FALSE
▶️ 查看代码
sum(is.na(company_data$revenue))               # 数一数:一共几个缺失
[1] 4
▶️ 查看代码
company_data %>% filter(is.na(revenue))        # 更实用:把缺失的行直接挑出来看
   company region revenue cost rating
1 蜀汉制造   西南      NA  650      B
2 锦江生物   西南      NA  900      A
3 青城建材   华东      NA  720      A
4 锦西物流   西南      NA  760      C

警告

为什么不能用 == NA 找缺失?

3.4 table()——看缺失值分布

sum(is.na(x)) 得到一个数字。想看“缺失 vs 不缺失”各占几行,有个更直观的内置函数:

▶️ 查看代码
table(is.na(company_data$revenue))   # FALSE 12、TRUE 4

FALSE  TRUE 
   12     4 

FALSE 12、TRUE 4 —— 一眼看懂,不用再心算。

3.5 缺失占比:mean(is.na()) 的小技巧

is.na() 返回逻辑值,求和是“缺几个”,求均值就是“缺百分之几”:

▶️ 查看代码
sum(is.na(company_data$revenue))    # 4 个
[1] 4
▶️ 查看代码
mean(is.na(company_data$revenue))   # 0.25 —— 4 ÷ 16
[1] 0.25
▶️ 查看代码
mean(is.na(company_data$cost))      # 0.1875 —— 3 ÷ 16
[1] 0.188

原理和第 1 讲那两道小题一样:逻辑值里 TRUE 当 1、FALSE 当 0,求和 = 个数,求均值 = 占比。

重要

光看缺失个数会做出错误判断——比例和规模要一起看:缺失比例说明这一列缺得多严重;缺失个数要放在整张表的行数里看,才知道处理起来要付多大代价。下一节讲"删除"时,会用 msleep 具体演示这一点。

3.6 整张表一次数清:colSums(is.na())

上面两招都是一列一列地问。列一多,就想要一行数完所有列——把 is.na() 直接作用在整张表上,再用 colSums() 按列把 TRUE 加起来:

▶️ 查看代码
colSums(is.na(company_data))   # 每一列各缺几个
company  region revenue    cost  rating 
      0       0       4       3       0 
company  region revenue    cost  rating 
      0       0       4       3       0 

提示

is.na() 是通用的缺失探测器:数值、字符、因子、日期列都能判;colSums() 负责把每列的 TRUE 数加起来。哪列缺得最狠,一行代码看完。

3.7 【即时练习 3】三招齐用,摸清 msleep

R 内置的 msleep(在 ggplot2 包里,先 library(ggplot2))——哺乳动物睡眠数据,83 行、11 列。

  1. 用 summary(msleep) 看哪几列有缺失;
  2. 用 mean(is.na(msleep$conservation)) 算 conservation 列的缺失比例。

四、删除缺失——na.omit()、drop_na() 与 filter()

最简单的方案,但不一定总合适

4.1 base R 的 na.omit()——一行有 NA,整行删

▶️ 查看代码
company_data                  # 原来 16 行
    company region revenue cost rating
1  锦城科技   华东    1200  800      A
2  蜀汉制造   西南      NA  650      B
3  天府物流   西南    1560   NA      A
4  青羊金融   华东     760  500      C
5  锦江生物   西南      NA  900      A
6  浣花实业   华东     892  620      B
7  锦西商贸   西南    1340  880      B
8  蜀都餐饮   西南     680   NA      C
9  青城建材   华东      NA  720      A
10 天府冷链   西南    2100 1350      A
11 锦江农产   华东     450  310      C
12 浣花纺织   华东     980  640      B
13 锦西物流   西南      NA  760      C
14 蜀汉电子   西南    1720   NA      A
15 青羊置业   华东     560  390      C
16 天府食品   西南    1380  910      B
▶️ 查看代码
na.omit(company_data)          # 删完剩几行?
    company region revenue cost rating
1  锦城科技   华东    1200  800      A
4  青羊金融   华东     760  500      C
6  浣花实业   华东     892  620      B
7  锦西商贸   西南    1340  880      B
10 天府冷链   西南    2100 1350      A
11 锦江农产   华东     450  310      C
12 浣花纺织   华东     980  640      B
15 青羊置业   华东     560  390      C
16 天府食品   西南    1380  910      B

na.omit() 的规则只有一条:只要有NA,全部删除。

company_data 里 revenue 缺 4 家、cost 缺 3 家,散落在 7 个不同的行上——na.omit() 一刀切,7行全部删除,16 行只剩 9 行。

4.2 drop_na()——指定只删除某一列或某几列的NA值

一刀切太粗。drop_na() 能指定只看某几列:

▶️ 查看代码
library(tidyr)                             # drop_na() 来自 tidyr(setup 已加载,这里再点一下出处)

company_data %>% 
  drop_na()            # 9 行:任意列缺就删
   company region revenue cost rating
1 锦城科技   华东    1200  800      A
2 青羊金融   华东     760  500      C
3 浣花实业   华东     892  620      B
4 锦西商贸   西南    1340  880      B
5 天府冷链   西南    2100 1350      A
6 锦江农产   华东     450  310      C
7 浣花纺织   华东     980  640      B
8 青羊置业   华东     560  390      C
9 天府食品   西南    1380  910      B
▶️ 查看代码
company_data %>% 
  drop_na(revenue)    # 12 行:只删 revenue 缺的那 4 家
    company region revenue cost rating
1  锦城科技   华东    1200  800      A
2  天府物流   西南    1560   NA      A
3  青羊金融   华东     760  500      C
4  浣花实业   华东     892  620      B
5  锦西商贸   西南    1340  880      B
6  蜀都餐饮   西南     680   NA      C
7  天府冷链   西南    2100 1350      A
8  锦江农产   华东     450  310      C
9  浣花纺织   华东     980  640      B
10 蜀汉电子   西南    1720   NA      A
11 青羊置业   华东     560  390      C
12 天府食品   西南    1380  910      B
▶️ 查看代码
company_data %>% 
  drop_na(revenue, cost)     # 9 行:两列都盯
   company region revenue cost rating
1 锦城科技   华东    1200  800      A
2 青羊金融   华东     760  500      C
3 浣花实业   华东     892  620      B
4 锦西商贸   西南    1340  880      B
5 天府冷链   西南    2100 1350      A
6 锦江农产   华东     450  310      C
7 浣花纺织   华东     980  640      B
8 青羊置业   华东     560  390      C
9 天府食品   西南    1380  910      B

drop_na(revenue) 留下的 12 行里,仍有 3 行的 cost 是 NA——它只管你点名的那几列。

重要

drop_na() vs na.omit() 的差别:前者由你指定"只看哪几列",后者一律"任意一列缺就整行删"。数据里多数列都干净时,na.omit() 删掉的行往往远超你的预期——company_data 里删掉的 7 行中,只有 4 行是 revenue 真的缺,另外 3 行 cost 缺但 revenue 是好的,信息被白白扔掉了。

在 msleep(83 行、5 列有缺失)上对比更直观:

删法 删掉几行 占原表
na.omit(msleep) 63 行 76%
drop_na(msleep, vore) 7 行 8%

第一种一口气删掉 63 行,看着是第二种的好几倍。但它们处理的缺失根本不是同一批——na.omit() 删掉的 63 行是被 5 个不同列的缺失牵连出来的,其中很多行只在无关列上缺了个值。点名越少,删得越多,这就是下一小节 filter() 想解决的更精细场景。

4.3 filter(!is.na())——删缺失也能写进筛选条件

第三种写法是把它当成一个筛选条件,好处是能和其它条件写进同一句:

▶️ 查看代码
library(dplyr)                                     # filter() 来自 dplyr(setup 已加载,这里再点一下出处)

company_data %>% 
  filter(!is.na(revenue))             # 12 行,等价于 drop_na(revenue)
    company region revenue cost rating
1  锦城科技   华东    1200  800      A
2  天府物流   西南    1560   NA      A
3  青羊金融   华东     760  500      C
4  浣花实业   华东     892  620      B
5  锦西商贸   西南    1340  880      B
6  蜀都餐饮   西南     680   NA      C
7  天府冷链   西南    2100 1350      A
8  锦江农产   华东     450  310      C
9  浣花纺织   华东     980  640      B
10 蜀汉电子   西南    1720   NA      A
11 青羊置业   华东     560  390      C
12 天府食品   西南    1380  910      B
▶️ 查看代码
company_data %>% 
  filter(!is.na(revenue), !is.na(cost)) # 9 行,两个条件一起上
   company region revenue cost rating
1 锦城科技   华东    1200  800      A
2 青羊金融   华东     760  500      C
3 浣花实业   华东     892  620      B
4 锦西商贸   西南    1340  880      B
5 天府冷链   西南    2100 1350      A
6 锦江农产   华东     450  310      C
7 浣花纺织   华东     980  640      B
8 青羊置业   华东     560  390      C
9 天府食品   西南    1380  910      B
▶️ 查看代码
company_data %>% 
  filter(revenue > 1000)             # 6 行
   company region revenue cost rating
1 锦城科技   华东    1200  800      A
2 天府物流   西南    1560   NA      A
3 锦西商贸   西南    1340  880      B
4 天府冷链   西南    2100 1350      A
5 蜀汉电子   西南    1720   NA      A
6 天府食品   西南    1380  910      B

4.4 三种删除——对照着记

我想…… 用这个 在 company_data 上的结果
一口气清掉所有含缺失的行 na.omit(df) 16 → 9 行
只按某几列删 df %>% drop_na(revenue) 16 → 12 行
把“删缺失”和别的条件写一起 df %>% filter(!is.na(revenue), revenue > 1000) 16 → 6 行

4.5 【即时练习 4】用 msleep 练删除

msleep 83 行,缺失情况见 3.6。回答:

  1. 直接 na.omit(msleep) 会删掉多少行、剩多少?
  2. 只删 conservation 缺失的行,写出两种等价写法(提示:本章那三种里挑两种)。
  3. 想选出 vore 不缺失、且 sleep_total 大于 10 的行——该用哪个函数?为什么 drop_na() 单独做不到?

五、填补缺失——五套方案

删不起的时候,就得补

5.0 什么时候不能删?

删除虽然简单,但代价可能很大:16 行删到 9 行是丢掉 44% 的公司。删之前至少问一句:这批缺失,是怎么产生的?

现实中有三种常见情形:

  • 随机的——比如财务系统偶发宕机、网络中断,随机丢了几笔,谁被丢纯属运气。这种情况下删掉几行通常不至于扭曲结论。
  • 和某个变量有关的——比如小分公司人手不足,费用明细更容易漏填。这时缺失和“是不是小分公司”有关,删掉它们可能让结论偏向大公司。
  • 和缺失值本身有关的——比如金额越大的敏感科目越不愿填。这种最难办,因为缺失本身就携带信息。

分不清属于哪种时,删除就带着风险。 更关键的是:删掉一整行,往往连带丢掉了其它列的好数据。上节已经看到,na.omit() 扔掉的 7 行里有 3 行只是 cost 缺,revenue 是好的。如果“缺”只是某个数没录入、其它信息都有,那该补不该删。

5.1 方案①:不处理—— na.rm = TRUE

回到第 2 章那个算不出来的 sum(company_data$revenue)。最直接的办法是加一个参数:

▶️ 查看代码
sum(company_data$revenue, na.rm = TRUE)      # 13622
[1] 13622
▶️ 查看代码
mean(company_data$revenue, na.rm = TRUE)     # 1135
[1] 1135

na.rm 是 “NA remove”(去掉 NA)的缩写。R 遇到 NA 时会先把它挪开,再算剩下的。

重要

这一招能让你算出数,但它不是“处理缺失”。 跑完之后,4 个 NA 还在原地——sum(company_data$revenue) 照样给 NA。

5.2 方案②:填一个固定值——if_else()

if_else(条件, 填补值, 原值) 的句式第 9 讲已经学过(2.6 节,当时用它按营收标"达标/未达标"),这里直接拿来补缺失的分数。先看一份学生成绩表,10 名学生里有 4 人分数缺失(评语里已写出等级,但分数栏空着):

▶️ 查看代码
scores <- data.frame(
  name  = c("张伟", "李娜", "王芳", "刘洋", "陈静", "杨帆", "赵磊", "黄敏", "周涛", "吴倩"),
  score = c(92, NA, 68, NA, 85, NA, 55, 78, NA, 88),
  grade = c("优", "中", "良", "优", "良", "及格", "不及格", "及格", "良", "优")
)

scores
   name score  grade
1  张伟    92     优
2  李娜    NA     中
3  王芳    68     良
4  刘洋    NA     优
5  陈静    85     良
6  杨帆    NA   及格
7  赵磊    55 不及格
8  黄敏    78   及格
9  周涛    NA     良
10 吴倩    88     优

最直接的补法:缺的分全按 60 分(及格线)填。

▶️ 查看代码
scores %>%
  mutate(score_f = if_else(is.na(score), 60, score))
   name score  grade score_f
1  张伟    92     优      92
2  李娜    NA     中      60
3  王芳    68     良      68
4  刘洋    NA     优      60
5  陈静    85     良      85
6  杨帆    NA   及格      60
7  赵磊    55 不及格      55
8  黄敏    78   及格      78
9  周涛    NA     良      60
10 吴倩    88     优      88

4 个 NA 变成 60,其余 6 人原样不动。

警告

问题很明显:刘洋是优等生,却也被填了 60 分。一个统一填下去的值,会把不同的人填成同一类——填 0 更极端,营收缺填 0 就等于把这家公司当成"没有收入"。

5.3 方案③:按不同情况填不同的值——case_when()

case_when() 在第 9 讲 2.8 节是用来把分数划成优/良/中/及格/不及格;今天反过来用——4 个缺失分的人等级各不相同,就按等级分别填各自档位的代表分:优等生填 90、良等生填 80、及格填 60。

▶️ 查看代码
scores %>%
  mutate(score_f = case_when(
    !is.na(score)   ~ score,   # ① 本来就有分:原样保留
    grade == "优"   ~ 90,      # ② 优等生:填 90
    grade == "良"   ~ 80,      # ③ 良等生:填 80
    grade == "及格" ~ 60,      # ④ 及格:填 60
    TRUE          ~ 75         # ⑤ 兜底:其余(如"中")填档位中值
  ))
   name score  grade score_f
1  张伟    92     优      92
2  李娜    NA     中      75
3  王芳    68     良      68
4  刘洋    NA     优      90
5  陈静    85     良      85
6  杨帆    NA   及格      60
7  赵磊    55 不及格      55
8  黄敏    78   及格      78
9  周涛    NA     良      80
10 吴倩    88     优      88

刘洋(优)拿到 90、周涛(良)拿到 80、杨帆(及格)拿到 60、李娜(中)由兜底分支 TRUE ~ 75 接住——不同的人走不同的分支,这正是填补比"统一填 60"讲理的地方。

5.4 【即时练习 5】if_else 与 case_when

接着用 scores:

  1. 用 if_else() 把缺失分数全部填成 70;
  2. 用 case_when() 改成:优等生填 95、良等生填 85、其余走 70 兜底;
  3. 对比两次结果:杨帆(及格)和刘洋(优)各自被填了多少?为什么第 2 次更合理?

5.5 方案④:前值填充 fill()——报表省略造成的缺失

前两节的缺失是“数据源没给”,但财务报表里还有另一种:表格上本来就有这个值,只是没重复写。

纸面报表里,“销售部”写过一次后下面几行常常省略不写。可 R 读不懂“省略”:

▶️ 查看代码
report <- data.frame(
  dept    = c("销售部", NA,    NA,    "行政部", NA,    NA,    "财务部", NA,    "技术部", NA),
  project = c("ERP",  "CRM",  "OA",   "ERP",  "CRM",  "OA",   "ERP",  "CRM",  "OA",   "ERP"),
  quarter = c("Q1",   "Q1",   "Q2",   "Q1",   "Q2",   "Q2",   "Q1",   "Q2",   "Q1",   "Q2"),
  revenue = c( 500,  320,  410,   200,  230,  260,   180,  190,  350,  370)
)

report    # dept 只在每组第一行写一次 —— 后面是"省略",不是"忘了填"
     dept project quarter revenue
1  销售部     ERP      Q1     500
2    <NA>     CRM      Q1     320
3    <NA>      OA      Q2     410
4  行政部     ERP      Q1     200
5    <NA>     CRM      Q2     230
6    <NA>      OA      Q2     260
7  财务部     ERP      Q1     180
8    <NA>     CRM      Q2     190
9  技术部      OA      Q1     350
10   <NA>     ERP      Q2     370

报表的排列有规律:同一个部门的记录连在一起(销售部 3 行、行政部 3 行、财务部 2 行、技术部 2 行),组名只写在每组的第一行,后面几行留空。所以看报表的人一看就知道:那个空着的 dept,是省略,不是没填。

这种缺失是报表格式造出来的,叫“结构性缺失”。它和 5.2、5.3 那两种“填数”完全不同:revenue 缺是真的不知道,而 dept 缺是“上面写着呢”。 fill() 的思路很朴素:把上面那一行的值抄下来。

▶️ 查看代码
library(tidyr)                                  # fill() 来自 tidyr(setup 已加载,这里再点一下出处)
report %>% fill(dept, .direction = "down")   # 前值填补:把上面的值抄进空位
     dept project quarter revenue
1  销售部     ERP      Q1     500
2  销售部     CRM      Q1     320
3  销售部      OA      Q2     410
4  行政部     ERP      Q1     200
5  行政部     CRM      Q2     230
6  行政部      OA      Q2     260
7  财务部     ERP      Q1     180
8  财务部     CRM      Q2     190
9  技术部      OA      Q1     350
10 技术部     ERP      Q2     370

重要

fill() 适用于“邻近记录确实该共享同一个值”的场景。这里 dept 是分类列——不存在“销售部和行政部的平均值”,这些 NA 是报表省略造成的,本来就该继承同组标签。

它也能对数值列做前值/后值延续(比如“这个数一直保持到下个月”),但前提同样是“邻近记录确实应共享同一值”。若 NA 代表真实未知,就不能机械抄邻居——练习 6 第 3 小问就是专门问这个。

方向的选择:省略式报表的组名写在组首,所以用 "down"。如果哪天拿到一张组名写在组末(每组末行才是部门名)的表,才改用 .direction = "up"。判断口诀:填完抽查每组的行数对不对。

5.6 【即时练习 6】fill() 修报表

report 里 dept 有 6 个空位。回答:

  1. 用 fill() 补全 dept,然后 count(dept) 看各部门各有几行——对不对得上(销售部 3 行、行政部 3 行、财务部 2 行、技术部 2 行)?
  2. 如果误写成 .direction = "up",第 2、3 行会被填成什么?为什么这是静默出错(程序不报错,但数据是错的)?
  3. 前面 report$revenue 一个 NA 都没有。换成 2.1 那张 company_data$revenue——它真缺 4 个——能不能用 fill() 补? 先想清楚再回答。

5.7 方案⑤:分组均值填补——让各组各算各的

前两节补的都是“有依据的固定值”。可很多时候没有任何规则可循:数值列的缺失,既不知道是多少,也和邻居无关。这时候最朴素的想法是填个平均值——但均值填充时,要先看看这个数据的平均值分布。

company_data 里有 region 列(华东/西南),两组的营收水平差得很远:

▶️ 查看代码
company_data %>%
  group_by(region) %>%
  summarise(组均值 = round(mean(revenue, na.rm = TRUE), 1)) %>%
  ungroup()
# A tibble: 2 × 2
  region 组均值
  <chr>   <dbl>
1 华东     807 
2 西南    1463.

华东 807、西南 1463——差了近一倍。而全局均值是 1135,正好卡在中间。用它去填,两组都会被往中间拽:

要报的正是“华东和西南差多少”,现在这个差被填出来的东西改小了。 解决办法就是让各组各算各的——把 group_by() 加在 mutate() 前面,mean() 就会在组内计算:

▶️ 查看代码
company_data %>%
  group_by(region) %>%                              # 按 region 分组
  mutate(revenue_g = if_else(is.na(revenue),        # 还是 5.2 那个句式
                             mean(revenue, na.rm = TRUE),  # 但 mean() 在组内算
                             revenue)) %>%
  ungroup()
# A tibble: 16 × 6
   company  region revenue  cost rating revenue_g
   <chr>    <chr>    <dbl> <dbl> <chr>      <dbl>
 1 锦城科技 华东      1200   800 A          1200 
 2 蜀汉制造 西南        NA   650 B          1463.
 3 天府物流 西南      1560    NA A          1560 
 4 青羊金融 华东       760   500 C           760 
 5 锦江生物 西南        NA   900 A          1463.
 6 浣花实业 华东       892   620 B           892 
 7 锦西商贸 西南      1340   880 B          1340 
 8 蜀都餐饮 西南       680    NA C           680 
 9 青城建材 华东        NA   720 A           807 
10 天府冷链 西南      2100  1350 A          2100 
11 锦江农产 华东       450   310 C           450 
12 浣花纺织 华东       980   640 B           980 
13 锦西物流 西南        NA   760 C          1463.
14 蜀汉电子 西南      1720    NA A          1720 
15 青羊置业 华东       560   390 C           560 
16 天府食品 西南      1380   910 B          1380 

华东的空位填 807,西南的空位填 1463——各填各的组均值,差距原封不动。代码和 5.2 的 if_else() 一模一样,只多了一个 group_by()。

重要

缺失扎堆时要格外小心。 本讲数据里 4 个缺失分散在 4 行,问题不大。可如果某个月整月都在缺(airquality 的 Ozone 在 6 月缺了 21 天/30 天),那一组“组内均值”其实是由少数几个真实观测算出来、再回填到一大片空位上的。缺失越扎堆,填补越要谨慎,必要时宁可保留 NA 并在结论里说明。

5.8 【即时练习 7】分组均值填补

  1. 对 company_data,用 group_by(region) + if_else() 把 revenue 的缺失按组均值填补;
  2. 验证:填补后每组的 mean() 应该和填补前的真实组均值完全一样(华东 807、西南 1463)——为什么数学上必然这样?
  3. 换 airquality 试试:按 Month 分组、用组内均值补 Ozone 的缺失,然后看填补后各月的均值有没有变。

先跑这一步,看看 Ozone 的缺失是不是均匀分布在 5–9 月里:

▶️ 查看代码
airquality %>%
  group_by(Month) %>%
  summarise(Ozone缺失率 = round(mean(is.na(Ozone)), 2)) %>%
  ungroup()
# A tibble: 5 × 2
  Month Ozone缺失率
  <int>       <dbl>
1     5        0.16
2     6        0.7 
3     7        0.16
4     8        0.16
5     9        0.03

5.9 其余方法:了解

上面这几套覆盖了绝大多数场景。还有几个更专门的工具,知道什么时候该找它们就够了:

方法 一句话
中位数填补 median(x, na.rm = TRUE) 有极端值时比均值更稳健(6.1 参考答案里给 Solar.R 就用过)
前后平均 if_else(is.na(y), (lag(y) + lead(y)) / 2, y) 时间序列顺着趋势补空位;连续缺失和首尾填不了
多源拼合 coalesce(A, B) 同一指标有多个来源时取第一个非缺失值;不做对账
模型填补 mice 包 缺失很多、变量多时的多重插补,属于进阶内容

本讲要牢牢记住的是 5.1–5.7 那几个。其余的,需要时再取用。

六、综合实战——识别→决策→处理→验证

把几套方案串成一条完整工作流

6.1 动手实战:用 airquality 走完整流程

任务:以 airquality(153 行;Ozone 缺 37 个/24.2%、Solar.R 缺 7 个/4.6%)为对象,做一次完整的缺失值处理:

  1. 识别——用 summary() 看清每列缺失(Ozone 37 个、Solar.R 7 个),算出缺失比例;
  2. 决策——为 Solar.R 与 Ozone 各选一套处理方案,并写清理由;
  3. 处理——用代码落实;
  4. 验证——处理后再次统计缺失,确认清干净。

6.2 课堂展示

邀请 1–2 名同学展示自己的处理流程,并说明“为什么这样选”——重点不是代码写得多快,而是选择理由是否站得住脚。

七、课堂总结、学习成果确认与Exit Ticket

一条流水线,贯穿本课始终

7.1 知识回顾——四步流水线

识别(summary() / is.na())→ 决策(删还是补?缺失占多少、扎不扎堆)→ 处理(不处理 na.rm/删除 na.omit()·drop_na()·filter()/填补 if_else()·case_when()·fill()·分组均值)→ 验证(再看一遍 summary())

重要

最容易混的一点:na.rm = TRUE 不是"处理缺失",它只是算的时候闭一只眼,数据本身一动不动。 真要处理,就用后面那几套方案里的任意一套,而且处理完必须再验一遍——这一步最容易被略过,也最容易在期末项目里翻车。

7.2 学习成果自查

  • ✓ 能说清 NA 为什么会毁掉一次求和/分组求和
  • ✓ 知道 na.rm = TRUE 能让计算跑通,但它改不了数据,报出去的数建立在假设上
  • ✓ 能用 summary() 快速看缺失数,用 is.na() + sum() / table() / mean() 定位到具体某列
  • ✓ 能删除:na.omit / drop_na(col) / filter(!is.na(col)) 三种写法,并说出各自删了几行
  • ✓ 能填固定值:应用第 9 讲学的 if_else() 填一个数、case_when() 按不同规则填不同数
  • ✓ 能填前值:判断缺失是“结构性”还是“真不知道”,只有前者才用 fill()
  • ✓ 能分组均值:group_by() + if_else(),并说清为什么不能用一个全局均值填全表
  • ✓ 能不处理:用 na.rm = TRUE 算个数,并说清它的代价
  • ✓ 删或补之前,会先问一句“这批缺失是怎么产生的”

7.3 Exit Ticket —— 写给自己的四个问题

请用 3 分钟,在纸条或在线问卷上简要回答:

  1. sum(x, na.rm = TRUE) 算出来的数,能直接写进月度报告吗?为什么?
  2. if_else() 和 case_when() 什么时候该用哪个?fill() 呢?
  3. 为什么“用全局均值填补一张有分组结构的表”会出问题?该怎么改?
  4. 删除和填补,各自适用什么条件?

下讲预告

异常值检测与处理、数据标准化与归一化

  • 箱线图(boxplot)与 IQR(四分位距)法识别异常值
  • 3σ 原则——基于正态分布假设的识别方法
  • 异常值的处理:删除、截断(winsorize)、替换为 NA
  • 数据标准化(z-score)与归一化(min-max)

提示

课前准备:保留好今天处理缺失值后的数据,下节课会在这份“干净”数据的基础上继续排查异常值。

谢谢!

第11讲:缺失值处理

"In God we trust; all others must bring data — and that data had better not be missing." ("我们只信上帝;其他人请带数据来——而且那数据最好别有缺失。") 财务数据中的缺失不能"拍脑袋"填写,每一个"补数"决定都应当有据可查、有理可依,这与审计工作中对异常科目要"查明原因、审慎处理"的要求是相通的。

朱 奇 | 锦城大学 · 财会学院