学 Python 到了 Part 5,真正的问题已经不是“某个语法看不懂”,而是“前面学过的变量、循环、条件、列表和字典,怎么组合起来才能完成一个完整任务”。很多人卡在这个阶段,不是因为难,而是因为知识点都见过,但连不成一条线。这套 Learn Python Programming Masterclass 的第五部分,放到实际学习路径里,主要解决的就是从“会语法”到“能独立写小工具”的过渡。
这个阶段的典型问题,从搜索热点里也能看得很清楚:python安装、python教程、python定义函数、python dataframe、python的库在哪个目录下、python连接cmd。这些不是入门初期的疑问,而是学完基础之后真正动手时才会遇到的坎。环境没理顺、函数用不熟练、数据一进来就不知道从哪下手,基本都是这几种情况。
下面我按实际落地顺序拆一遍:先确认学到什么程度算合格,再把环境、函数、模块、文件、异常处理、批量任务依次讲透。最后留一套我自己排查时会优先看的检查顺序。
1. 到 Part 5 这一步,你该有的不是“更多语法”,而是“能独立写工具”
1.1 基础都见过,但组合起来不会
很多新手教程会把函数、列表、字典、循环分开讲。每节课看起来都不难,问题在于你从没做过“把四五个知识点放进同一个小程序”的练习。实际开发里,代码从来不是单点语法,而是输入、处理、输出的组合过程。
所谓输入,可以是用户敲的参数、读进来的文本、导入的 CSV 表格。处理就是你对这些数据做的所有操作。输出则是打印、写文件、生成 Excel、调接口返回结果。到 Part 5 这个阶段,要养成的第一个习惯,就是拿到需求先写清楚这三块分别是什么。
1.2 这个阶段的核心能力清单
我给不同阶段的 Python 学习做过同样的归类,到“基础语法之后的第五部分”这个位置,最值得检查的是下面几项:
| 能力 | 判断标准 | 典型报错 |
|---|---|---|
| 函数封装 | 能把重复代码抽成带参数、带返回值的函数 | NameError、TypeError |
| 模块导入 | 知道 import 的搜索路径,能分清楚自己的模块和第三方库 | ModuleNotFoundError |
| 文件读写 | 能读文本、写文本,知道编码和路径问题 | FileNotFoundError、UnicodeDecodeError |
| 异常处理 | 能预判空数据、错误输入,让程序不至于直接崩溃 | ValueError、IndexError |
| 数据表操作 | 能用 pandas 处理 CSV、Excel 的基本筛选和统计 | ImportError、KeyError |
如果你发现哪一项还没把握,先不要急着学爬虫、量化、人工智能。Python 后面的方向全都建立在这几项基础上。
1.3 用一个小目标检验学习成果
更好验证方式不是“我书看完了”,而是“我独立写了一个脚本”。我给你一个自测题:读取一个文本文件,去掉空行和首尾空格,统计每个单词出现次数,把结果存成 CSV。
这个任务小,但足够让不少人卡住。它用到函数、with 打开文件、字典计数、文件写出,基本覆盖了 Part 5 阶段的全部重点。下面是一个可以直接跑通的最小版本:
python复制from collections import Counter
def read_file(path):
with open(path, "r", encoding="utf-8") as f:
return f.readlines()
def clean_lines(lines):
return [line.strip() for line in lines if line.strip()]
def count_words(lines):
counter = Counter()
for line in lines:
counter.update(line.split())
return counter
def save_result(counter, out_path):
with open(out_path, "w", encoding="utf-8") as f:
for word, num in counter.most_common():
f.write(f"{word},{num}\n")
if __name__ == "__main__":
lines = read_file("input.txt")
lines = clean_lines(lines)
counter = count_words(lines)
save_result(counter, "word_count.csv")
不要照抄完就结束。你要能解释清楚:为什么用 Counter、为什么每个函数只做一件事、为什么要用 if __name__ == "__main__"。解释清楚,才算过关。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 先解决环境:版本、虚拟环境、pip 和命令行
2.1 Python 版本怎么选
搜索热词里“python安装”出现频率很高,说明很多人下载安装这一步就出问题了。我的建议很简单:装官方 64 位 Python 3.x,不要装 32 位,不要图省事用来源不明的“整合包”。安装时勾选“Add Python to PATH”,这能省掉后续大量命令行问题。
安装完先在终端或 cmd 里验证:
bash复制python --version
如果显示的不是 Python 3,而是 Windows 应用商店的提示,说明你的 PATH 配置有问题。不要急着改注册表,先把菜单里的 Python 卸载干净重装一遍,大概率能解决。
2.2 第三方库装到哪里
“python的库在哪个目录下”也是高频问题。第三方库默认装到当前解释器对应的 site-packages 目录。问题在于,你的电脑上可能有多个 Python,IDE 用的是一个,命令行用的是另一个,这样就会出现“pip 明明安装了,但代码里 import 不到”的情况。
统一的做法是不要直接敲 pip install,而是用:
bash复制python -m pip install numpy pandas matplotlib
python -m pip list
python -m pip show numpy
python -m pip 保证 pip 和当前运行的 Python 是同一个解释器。这个细节看起来小,实际能解决一大半“安装失败”的困惑。
2.3 命令行调用 Python 和连接 cmd
“python连接cmd”这个搜索词,本质上是很多人不知道 Python 脚本和命令行是什么关系。你可以先理解成:cmd 或终端是控制台,Python 脚本是程序,控制台负责启动程序。进入脚本所在目录后再运行:
bash复制cd /d D:\learn_python
python my_script.py
如果需要给脚本传参数,用 sys.argv 接收。一个脚本能不能“被命令行调用”,也是判断你有没有真正理解 Python 运行方式的重要标准。IDE 里按 F5 能跑,不等于你会用命令行跑。建议至少在 Part 5 阶段,强制自己用命令行启动三次脚本。
3. 从 print 到 return:函数与模块怎么用才算合格
3.1 参数、默认值、作用域
新手最容易误解的是:函数里 print 出来的东西,外面拿不到。能让外部拿到值的只有 return。所以在设计函数时,先问自己一句:这个函数是要展示结果,还是要返回结果给下一步用?
参数设计也有讲究。默认参数适合“大部分情况用默认值,个别情况才改”的场景:
python复制def create_user_report(user_id, output_name=None, include_status=True):
if output_name is None:
output_name = f"report_{user_id}.csv"
if not include_status:
pass
return output_name
这里用 output_name=None 而不是直接写 output_name="",是为了避免可变默认参数带来的隐藏问题。这个知识点在面试题里反复出现,但真正开发时更关键的是:不要写出外部依赖函数内部状态的代码。
3.2 import 的搜索路径
import 不是简单地把代码拿过来用,它是一个查找过程。Python 会先看内存里有没有已导入的模块,再找标准库,再找当前项目目录,最后找 site-packages。如果你的文件名和第三方库同名,比如把某个脚本命名为 numpy.py,那么原库很有可能会被你的文件挡住。
排查时可以看实际路径:
python复制import sys
for path in sys.path:
print(path)
遇到 ModuleNotFoundError,先不要怀疑“库坏了”,按这个顺序查:当前环境对不对、库名有没有拼错、是不是你自己的文件同名冲突。这个排查顺序能省掉大量时间。
3.3 第三方库:numpy、pandas、matplotlib
到 Part 5 阶段,应当开始接触数据处理三件套。搜热词里的 python dataframe 指的就是 pandas 里的 DataFrame 表格结构。它的核心概念是:一列是一种数据类型,不要求整张表都统一。
python复制import pandas as pd
df = pd.read_csv("scores.csv")
print(df.head())
print(df.columns)
print(df.describe())
head() 看前几行,columns 看列名,describe() 看统计信息。这三行是拿到任何表格数据之后的第一动作,先看结构再处理。很多人拿到数据直接一顿操作,最后发现列名不对、类型不对,全是白做。
关于“python画图横坐标太密集”,我直接给通用解法:用 matplotlib 时,密度过高就旋转标签或者隔几个显示一个:
python复制import matplotlib.pyplot as plt
plt.figure(figsize=(10, 4))
plt.xticks(rotation=45)
plt.gca().xaxis.set_major_locator(plt.MaxNLocator(20))
plt.show()
不要把图塞得太满。横坐标一密集,读者什么都看不出来,图就失去了意义。
4. 文件读写和表格处理:Python 实用性最容易体现的地方
4.1 文本文件与编码
文件读写看着简单,坑全在编码和路径上。Windows 上常见的 UnicodeDecodeError,大多是因为文件是 GBK 编码,而代码用 UTF-8 打开。稳妥的做法是打开文件时显式指定编码并处理异常:
python复制def read_text_safe(path):
encodings = ["utf-8", "gbk", "gb2312", "latin-1"]
for enc in encodings:
try:
with open(path, "r", encoding=enc) as f:
return f.read()
except UnicodeDecodeError:
continue
raise ValueError(f"无法识别文件编码: {path}")
如果用户给你的文件不是由你自己生成的,永远要假设它的编码不靠谱。路径也一样,中文目录、空格目录、带特殊符号的目录,先用 os.path.exists(path) 验证,别一上来就打开。
4.2 CSV、Excel 与 DataFrame 概念
CSV 是纯文本,Excel 是二进制格式。中小型数据直接用 pandas 处理最方便。很多人分不清“表”和“库”的区别,这里只需要记住:DataFrame 就是内存里的表格,你可以筛选列、筛选行、分组统计,然后一次性写回新文件。
python复制df = pd.read_csv("raw_data.csv")
df = df[df["age"] >= 18]
df = df.dropna(subset=["name"])
result = df.groupby("city")["score"].mean().reset_index()
result.to_excel("result.xlsx", index=False)
这段代码做的事是:读取 CSV、过滤符合条件的行、删掉关键字段为空的行、按城市算平均分、写 Excel。这些操作在真实工作中天天见。
4.3 常用数据处理操作
给一个常用操作对照:
| 需求 | pandas 写法 |
|---|---|
| 只看前几行 | df.head() |
| 筛选行 | df[df["列名"] > 10] |
| 筛选列 | df[["列名1", "列名2"]] |
| 删除空值 | df.dropna(subset=["列名"]) |
| 填充空值 | df.fillna(0) |
| 排序 | df.sort_values("列名", ascending=False) |
| 分组统计 | df.groupby("分组列")["统计列"].mean() |
不要背这些。真正要理解的是“筛选行用布尔条件”“分组之后需要 reset_index 把分组列变回普通列”。理解了这两条,pandas 的使用水平就能覆盖大部分日常工作。
5. 异常处理不是补丁,而是设计的一部分
5.1 try/except 的使用边界
很多初学者学到异常处理,就把整个函数体包进 try 里,然后直接 except Exception。这样写确实不报错,但排查问题时你会抓狂,因为所有错误都被吞掉,你不知道是文件没有、编码不一致,还是逻辑算错。
更好的做法是只捕获可能发生的具体异常,或者在捕获后保留原始信息:
python复制try:
df = pd.read_csv(path)
except FileNotFoundError:
print(f"文件不存在:{path}")
raise
except pd.errors.EmptyDataError:
print(f"文件是空的:{path}")
raise
注意这里先打印信息,再 raise 把异常抛给上层。这叫“记录但不吞掉”,在脚本和批处理里特别重要。批量任务里如果一个文件失败了,程序不能停,但你至少要知道哪一步、哪个文件、什么原因。
5.2 从报错信息定位问题
看到报错不用慌,先看最下面一行异常类型,这是定位的第一步。常见的几个:
| 异常 | 含义 | 优先检查 |
|---|---|---|
| FileNotFoundError | 路径不对 | 路径、当前工作目录、文件是否存在 |
| UnicodeDecodeError | 编码不符 | 文件的真实编码、open 的 encoding 参数 |
| ValueError | 值不合法 | 输入结构、转换的数据内容 |
| KeyError | 键不存在 | 字典键名、DataFrame 列名 |
| ModuleNotFoundError | 模块没找到 | 当前环境、模块名、是否有同名文件 |
不要一报错就全代码找原因。先看报错发生在哪一行,再往回推输入数据是什么。大部分问题都是输入和环境问题,代码本身反而不容易错。
5.3 输入校验和空数据处理
批量处理里最怕的是输入材料不干净。空行、空值、多余逗号、列名对不上,都可能让脚本原地爆炸。处理顺序应该是:先校验输入,再处理数据,最后写输出。
python复制if df.empty:
print("输入表格为空,跳过处理")
continue
if "name" not in df.columns:
print("缺少 name 列,检查输入格式")
continue
这种判断看起来啰嗦,但在批量跑几十个文件时,它能帮你精准识别是哪个文件有问题。程序不会在中间莫名其妙停掉,也不会把错数据写进结果。
6. 实战:把批量文件处理做成可重复运行的小工具
6.1 需求拆解
用一个常见需求说明:目录里有多个纯文本文件,需要统计每个文件的字符数和行数,并找出每个文件里出现最频繁的 5 个词,输出一个汇总 Excel。
先拆成小块:
- 获取目录下所有 txt 文件
- 单文件统计:字符数、行数、最频繁词
- 循环所有文件,记录结果
- 生成汇总表
注意这里我没有先写代码,而是先写步骤。这才是经验里最重要的一条:任务复杂时,第一步永远是拆需求,不是敲代码。
6.2 单文件验证
批量任务不要一上来全部跑。先挑一个文件,跑通之后再扩展到整个目录。这个原则能帮你区分“代码有问题”和“某个文件有问题”。
python复制from pathlib import Path
from collections import Counter
import pandas as pd
def analyze_one_file(path):
text = path.read_text(encoding="utf-8", errors="ignore")
lines = [line.strip() for line in text.splitlines() if line.strip()]
words = Counter(text.split()).most_common(5)
return {
"file": path.name,
"chars": len(text),
"lines": len(lines),
"top_words": words,
}
errors="ignore" 是为了不让个别编码问题中断整个任务。这种参数适合批量场景,但如果你要保生产质量,还是应该把失败文件单独记录。
6.3 批量处理与输出命名
批量处理有两个每人都要踩的坑:输出文件被覆盖,以及某个文件失败导致程序中断。输出命名最好的方式是保留原始文件名,再加处理标识。
python复制def batch_process(input_dir, output_dir):
input_path = Path(input_dir)
output_path = Path(output_dir)
output_path.mkdir(parents=True, exist_ok=True)
results = []
for txt_file in input_path.glob("*.txt"):
try:
results.append(analyze_one_file(txt_file))
except Exception as e:
print(f"处理失败: {txt_file.name}, 原因: {e}")
continue
df = pd.DataFrame(results)
df.to_excel(output_path / "summary.xlsx", index=False)
continue 在这里是必要的。失败一个文件不代表任务整个失败,你要的是把能处理的都处理完,再回头看失败列表。
6.4 稳定性和结果检查
批量任务跑完,不是看一眼“没报错”就完事。要检查三样东西:
- 输出文件数是否等于成功处理数
- 汇总表行数是否等于成功文件数
- 有没有文件因为编码或内容问题被跳过
很多人在这个阶段误判“程序没报错=任务成功”,实际可能处理了一大半,成功的只有一半。加一个简单统计就能避免:
python复制success_count = len(results)
total_count = len(list(input_path.glob("*.txt")))
print(f"成功 {success_count} 个,共 {total_count} 个,失败 {total_count - success_count} 个")
这个信息在自己排查和给别人汇报时都有用。学习阶段就要养成这个习惯:每一步都要有可检查的输出,不要靠感觉判断。
7. 常见报错排查顺序和避坑记录
7.1 报错时先看哪一层
碰到报错,我的固定排查顺序是:输入、环境、参数、代码、工具本身。先说原因。
- 输入最容易出问题:数据格式、编码、列名、路径,这些高频出问题。
- 环境问题也常见:解释器不对、库没装、同名文件冲突。
- 参数范围过界:批量数、并发数、文件大小处理不了。
- 代码逻辑问题往往是最后才怀疑的,因为前面几类占了多数。
7.2 安装和导入失败的常见原因
遇到 ModuleNotFoundError 或者 pip 安装失败,不要立刻重装 Python。按这个顺序查:
- 当前命令行用的 Python 是不是你 IDE 用的那个。
- 当前虚拟环境有没有激活。
- 包名有没有拼写错,比如
numpy不是numpy。 - 安装命令用没用
python -m pip。 - 项目目录里有没有和库同名的 .py 文件。
第五点名最容易忘。以前我遇到过一次 import numpy 始终报错,最后发现项目文件夹里有个叫 numpy.py 的旧脚本。把文件改名就没事了。同类问题在日常开发里并不罕见。
7.3 配置不高时注意资源占用
如果你用的是一台普通办公电脑,内存 8G 或 16G,处理 Excel 时不要动不动把整个文件读进内存再循环。pandas 虽然好用,但遇到超大文件时,优先用分块读取或者只读取需要的列。
python复制chunk_iter = pd.read_csv("big_file.csv", chunksize=10000, usecols=["id", "value"])
df_list = []
for chunk in chunk_iter:
df_list.append(chunk[chunk["value"] > 50])
result = pd.concat(df_list)
这种方法适合内存不高时的数据处理。低配置能跑不代表适合一次性加载全部数据。真实任务里,“跑得动”和“稳定跑完”往往是不一样的要求。
7.4 留几个自己常看的坑点
- 代码能跑,不代表设计合理。先确认最小样例能不能跑,再谈扩展。
- 批量任务要分开做“单条验证”和“批量执行”,不要混在一起。
- 输出命名和输出目录要提前设计,临时文件名是乱局的开端。
- 日志或打印信息要能看出“哪个文件、哪一步、什么原因”,否则报错等于白报。
- 第三方库版本冲突时,先看
pip show列出的版本,再决定要不要升级。
学完 Part 5,真正该拿走的不是更多技巧,而是“用工程方式组织脚本”的思维:把功能拆函数、把输入输出理清楚、把异常处理写明白。Python 后面的爬虫、数据分析、Web 开发、自动化,全都会依赖这一层基本功。先把这一阶段练稳,后面的路会突然顺很多。
