4.3 提取表格数据

对于网页中的表格，rvest提供了特别方便的函数：

r复制tables <- html %>% html_table()

这会返回页面中所有表格的列表，每个表格都是一个整洁的data.frame。

5. 高级技巧与实战应用

5.1 处理分页内容

许多网站的数据分布在多个页面。我们需要编写循环来抓取所有页面：

r复制base_url <- "http://books.toscrape.com/catalogue/page-%d.html"
all_books <- list()

for (page in 1:5) {  # 假设我们只抓取前5页
  page_url <- sprintf(base_url, page)
  page_html <- read_html(page_url)
  
  # 提取当前页的数据并存入列表
  all_books[[page]] <- page_html %>% html_elements(".product_pod") %>% 
    map_df(~{
      tibble(
        title = html_text2(html_element(.x, "h3 a")),
        price = html_text2(html_element(.x, ".price_color"))
      )
    })
  
  Sys.sleep(1)  # 礼貌性延迟，避免给服务器造成负担
}

# 合并所有页面的数据
final_data <- bind_rows(all_books)

5.2 处理动态加载的内容

对于通过JavaScript动态加载的内容，rvest可能无法直接获取。这时可以考虑：

1. 使用RSelenium包控制浏览器
2. 分析网站的API接口直接请求数据
3. 使用V8包执行页面中的JavaScript代码

5.3 登录与表单提交

有些网站需要登录才能访问数据。rvest可以通过html_form()和submit_form()处理：

r复制login_page <- read_html("http://example.com/login")
login_form <- html_form(login_page)[[1]]

filled_form <- set_values(login_form,
                         username = "your_username",
                         password = "your_password")

session <- submit_form(filled_form)

6. 最佳实践与注意事项

6.1 遵守robots.txt

在抓取任何网站前，务必检查其robots.txt文件（通常在网站根目录下）。这能告诉你哪些页面允许抓取，哪些不允许。

6.2 设置合理的请求间隔

快速连续请求可能导致你的IP被封锁。建议：

r复制Sys.sleep(runif(1, 1, 3))  # 随机等待1-3秒

6.3 错误处理与重试机制

网络请求可能失败，良好的代码应该能处理这些情况：

r复制safe_read <- safely(read_html)

result <- safe_read(url)
if (!is.null(result$error)) {
  message("请求失败，正在重试...")
  result <- safe_read(url)
}

6.4 用户代理设置

有些网站会阻止默认的R用户代理。可以这样设置：

r复制html <- read_html(url, config = httr::user_agent("Mozilla/5.0"))

6.5 数据存储策略

对于大规模抓取任务，建议：

• 定期保存中间结果
• 使用数据库而非内存存储
• 记录已抓取的URL避免重复

7. 实际案例分析：构建完整爬虫

让我们看一个完整的例子，抓取图书网站的标题、价格和评分：

r复制library(rvest)
library(tidyverse)

scrape_books <- function(url) {
  html <- read_html(url)
  
  tibble(
    title = html_elements(html, "h3 a") %>% html_text2(),
    price = html_elements(html, ".price_color") %>% html_text2() %>% 
      str_remove("£") %>% as.numeric(),
    rating = html_elements(html, ".star-rating") %>% 
      html_attr("class") %>% str_remove("star-rating "),
    link = html_elements(html, "h3 a") %>% html_attr("href") %>% 
      url_absolute(url)
  )
}

# 使用函数抓取多页数据
map_df(1:3, ~{
  url <- sprintf("http://books.toscrape.com/catalogue/page-%d.html", .x)
  scrape_books(url) %>% 
    mutate(page = .x)
})

这个例子展示了如何：

1. 封装抓取逻辑到函数中
2. 处理相对URL转换为绝对URL
3. 使用map_df优雅地处理多页数据
4. 清洗和转换数据格式

8. 性能优化技巧

8.1 并行处理

对于大规模抓取任务，可以使用furrr包实现并行：

r复制library(furrr)
plan(multisession)

urls <- sprintf("http://example.com/page-%d", 1:100)
results <- future_map_dfr(urls, scrape_books)

8.2 缓存响应

避免重复请求相同URL：

r复制library(memoise)
scrape_memoised <- memoise(scrape_books)

8.3 增量抓取

对于持续更新的网站，可以只抓取新内容：

r复制last_run <- readRDS("last_run.rds")  # 加载上次抓取的最新记录
new_data <- scrape_books(url) %>% 
  filter(!title %in% last_run$title)

9. 常见问题排查

9.1 元素找不到的可能原因

1. 网页使用了JavaScript动态加载 - 考虑RSelenium
2. 有iframe嵌套 - 需要先定位到iframe
3. 网站检测到爬虫 - 调整用户代理和请求频率
4. 页面结构发生了变化 - 更新选择器

9.2 编码问题处理

当遇到乱码时，可以指定编码：

r复制html <- read_html(url, encoding = "ISO-8859-1")

9.3 会话维持

对于需要登录的网站，保持会话很重要：

r复制session <- session(url)
logged_in <- session %>% session_submit(login_form)

10. 扩展应用：rvest与其他包的协同

10.1 与purrr配合进行复杂抓取

r复制book_details <- html_elements(html, ".product_pod") %>% 
  map_df(~{
    tibble(
      title = html_element(.x, "h3 a") %>% html_text2(),
      price = html_element(.x, ".price_color") %>% html_text2()
    )
  })

10.2 与httr配合处理API请求

r复制library(httr)
api_resp <- GET("https://api.example.com/data")
content <- content(api_resp, as = "parsed")

10.3 与DBI配合存储到数据库

r复制library(DBI)
con <- dbConnect(RSQLite::SQLite(), "scraped_data.db")
dbWriteTable(con, "books", final_data, overwrite = TRUE)

通过rvest与其他强大R包的结合，我们可以构建出非常复杂且高效的数据采集管道，满足各种实际业务需求。