Python旅游城市关键词分析实战：从爬虫到可视化完整项目

如果你正在纠结Python入门之后能做什么拿得出手的实战项目，或者想找一套带完整源码和文档的练手作品来打磨简历，这个“基于Python的旅游城市关键词分析”项目值得认真复盘一遍。它不是什么高深算法，但把爬虫采集、文本清洗、关键词提取、数据可视化和文档撰写串成了完整链路，属于那种“麻雀虽小五脏俱全”的综合型项目。我把它从需求拆解到编码实现、再到最后整理源码和文档的全过程都放在这篇里，包括踩过的各种坑，希望能给你一份可以直接参考的实操路线。

这套东西适合谁？正在做课设、毕设或者面试项目的Python学习者，想了解文本分析真实落地流程的初级数据分析师，以及准备做旅游行业舆情或竞品分析但不知从哪下手的从业者。动手之前先把结论说清楚：项目的核心价值不在算法多牛，而在于它演示了“从一堆杂乱评论里提取出城市特色关键词，再让结果可视化、可解释”的完整思路。

1. 为什么做旅游城市关键词分析：先想清楚这几个问题再动手

1.1 这个项目到底在解决什么问题

旅游行业有一个很实际的痛点：游客在携程、马蜂窝、小红书、抖音评论区留下了海量真实文字反馈，但大部分商家和文旅机构根本没有精力去读。比如一个城市有几千条评论，人工看完要两三天，而且看完也说不清“游客最在意的是交通还是住宿、是自然风光还是美食小吃”。关键词分析解决的就是这个信息过载问题——把几千条文本压缩成几十个关键词，每个词后面挂着频次、热度趋势和情感倾向，决策者一眼就知道该优化什么。

把问题再拆细一步，实际操作时有三个层次的需求。最低层次是“词频统计”，就是单纯看哪些词出现得多；中间层次是“关键词权重排序”，要排除“我们”“他们”这类无意义词，还要让“栈桥”“八大关”这种地方特色词脱颖而出；最高层次是“关键词解释力”，比如同样是“海滩”这个词，在青岛评论和厦门评论里的情感语义可能完全不同，需要结合上下文判断。这个项目做的是后两个层次的结合，用TF-IDF和TextRank做权重排序，再叠加情感标签做语义增强。

1.2 面向谁、怎么用：三个典型应用场景

第一个场景是文旅局或景区管理人员做季度舆情分析。把本季度所有游客评论抓下来，跑一遍关键词提取，再按月份对比关键词热度变化，能直观看到新开的商圈有没有被游客注意到、哪个老景点口碑在下滑。

第二个场景是旅游博主或MCN机构做选题参考。分析某个城市的所有热门笔记关键词，就知道大家最关注什么，写攻略时围绕这些关键词组织内容，流量通常会更好。

第三个场景是Python学习者做作品集。这个项目虽然不复杂，但覆盖面广，源码和文档齐全，面试时能完整讲清楚数据流和算法原理，比单纯刷题有说服力得多。

我最初做这个项目的动机就是帮一个文旅行业的朋友分析游客评论，后来发现这套流程抽出来之后可以复用到任何城市、任何行业，干脆整理成了一套标准化工具。

2. 数据是分析的根基：采集、清洗与语料库搭建实录

2.1 数据源选择和采集策略

做关键词分析，数据质量决定结果上限。爬虫是这个项目最不稳定的部分，也是最容易被忽略的部分。我建议优先考虑两个渠道：第一个是公开的数据集，比如天池、Kaggle上有一些旅游评论的开放数据，省去采集麻烦，适合前期开发调试；第二个才是自己写爬虫抓取公开平台数据。

如果决定写爬虫，我认为第一原则是控制频率和遵守平台规范。只用requests加BeautifulSoup就能完成基础抓取，没必要一上来就上Scrapy。以抓取某旅游网站的城市攻略为例，核心逻辑就是构造URL列表、请求页面、解析HTML中的评论或攻略正文，然后存入CSV。

python复制import requests
from bs4 import BeautifulSoup
import time
import csv

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}

def fetch_articles(city, pages=10):
    results = []
    for page in range(1, pages + 1):
        url = f"https://example-travel.com/{city}/guide?page={page}"
        try:
            resp = requests.get(url, headers=headers, timeout=10)
            soup = BeautifulSoup(resp.text, "html.parser")
            for item in soup.select(".article-content"):
                text = item.get_text(strip=True)
                if len(text) > 50:
                    results.append(text)
        except Exception as e:
            print(f"[WARN] 第{page}页抓取失败: {e}")
        time.sleep(1.5)  # 控制请求间隔，别给服务器添压力
    return results

代码本身没什么花样，但有几个细节会直接影响成败。一是time.sleep的间隔不能太短，否则容易触发反爬；二是User-Agent要伪装成真实浏览器，有些网站对Python默认UA直接拒绝；三是异常处理必须做，网络波动和页面结构调