从语法到工程:Python 编程进阶实战笔记
很多朋友在学完 Python 基础语法后,都会遇到一个共同的瓶颈:单个知识点都能看懂,但真正做起项目时却不知道从哪下手。函数定义、数据结构、文件读写、异常处理,这些内容在教程里是一章一章分开讲的,但实际项目里它们往往是混在一起协同工作。
本文是 Python 进阶学习笔记,重点梳理从基础语法走向小型项目实战时最核心的知识点,包括函数设计、容器类型进阶、列表推导式、切片操作、类型转换、文件与 Excel 数据处理、异常捕获、自动化脚本编写等。文章里的代码都以“能复制、能运行、能改造成自己的需求”为标准,每个示例都会说明背后的设计思路。
内容比较适合学过 Python 基础、想进一步提升的读者。如果你刚安装好 Python、还不太熟悉基本语法,也可以先快速浏览第 2 部分的环境说明,再进入核心章节。
1. 进阶学习前,先理解 Python 的核心设计逻辑
1.1 Python 为什么适合做工程脚本
Python 是一门解释型、动态类型、多范式的编程语言。所谓“多范式”,意思是它既支持面向对象编程,也支持函数式编程,同时还保留着非常直观的过程式写法。这种灵活性让 Python 在不同场景下都能找到合适的表达方式。
很多初学者容易陷入一个误区:以为 Python 只能写小脚本。实际上,Python 在自动化运维、数据分析、后端服务、爬虫、量化交易策略回测、科学计算等领域都有非常广泛的应用。学习 Python 的进阶内容,目标不是背熟更多语法,而是建立一种能力:拿到需求后,能快速设计出数据结构,写出结构清晰、可复用、易排查的代码。
1.2 进阶语法和基础语法的边界在哪里
基础语法通常指的是变量、数据类型、条件判断、循环、简单函数、列表和字典的基本增删改查。
进阶内容则更关注:
- 函数的高级用法:默认参数、可变参数、关键字参数、返回值设计。
- 数据结构的性能意识:什么时候该用列表、元组、集合、字典,它们各自的开销和适用场景。
- 可读性工具:切片、列表推导式、生成器表达式、enumerate、zip。
- 健壮性设计:异常捕获、自定义异常、防御式编程。
- 工程化基础:模块化、文件读写、数据持久化、自动化脚本。
可以这样理解:基础语法解决的是“每一行代码怎么写”,进阶内容解决的是“整个程序怎么组织”。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与项目结构说明
2.1 版本选择与安装
本文的示例代码以 Python 3.8+ 为基础。事实上 Python 3.8 到 3.12 之间的核心语法差别不大,教程中的代码在主流 Python 3 版本上都可以正常运行。
如果电脑上还没安装 Python,推荐从 Python 官网下载安装包。安装时需要注意两点:
- 在安装向导第一页勾选“Add Python to PATH”,否则后续在命令行中运行
python命令会提示找不到。 - 如果使用的是 macOS 或 Linux,系统自带 Python 可能版本较旧,建议单独安装新版本,避免影响系统级 Python 环境。
安装完成后,可以在终端(命令行窗口)中验证:
bash复制python --version
2.2 推荐工具配置
开发 Python 项目,工具不是越复杂越好。推荐两类组合:
- 轻量级:VS Code + Python 扩展。在扩展商店搜索 Python,安装微软官方扩展即可获得代码补全、调试、代码检查功能。
- 重量级:PyCharm Community Edition,适合希望开箱即用的学习者,不需要额外配置就能运行和调试 Python 文件。
无论使用哪一种,都建议先学会在命令行中运行 Python 脚本,因为后续部署、定时任务、服务上线都离不开命令行操作。
2.3 示例项目目录结构
为了让后面的实战案例更清晰,本文统一使用下面的目录结构:
text复制python_advance/
├── main.py # 主入口脚本
├── data_processor.py # 数据处理模块
├── logger_util.py # 日志封装
├── output/ # 输出目录
│ └── summary.xlsx
└── requirements.txt # 依赖清单
这只是一个小型项目的示意结构,并不复杂,但已经体现了“功能拆分到模块”的工程思想。实际项目可以在此基础上扩展 package 目录、测试目录和配置文件目录。
3. 函数进阶:从“能写出”到“设计好”
3.1 函数的参数体系
Python 函数的参数体系是初学者最容易混乱的地方之一。分开来看其实并不难。
普通位置参数按顺序传入:
python复制def greet(name, greeting):
return f"{greeting}, {name}!"
print(greet("Alice", "Hello"))
默认参数在调用时可以省略:
python复制def greet(name, greeting="Hello"):
return f"{greeting}, {name}!"
print(greet("Alice"))
print(greet("Bob", "Hi"))
默认参数有一个非常重要的注意点:默认值不要使用可变对象。下面是一个初学者非常容易踩的坑:
python复制def add_item(item, items=[]):
items.append(item)
return items
print(add_item("a")) # ['a']
print(add_item("b")) # ['a', 'b'],这里出现了意外结果
第二次调用时,列表已经不是空列表了,而是上次调用之后的 ['a']。因为默认参数在函数定义时只创建一次,后续调用复用同一个列表对象。正确的做法是:
python复制def add_item(item, items=None):
if items is None:
items = []
items.append(item)
return items
可变参数 *args 和关键字参数 **kwargs 是编写通用函数的重要工具:
python复制def log_message(level, *messages, **details):
parts = [f"[{level}]"]
parts.extend(messages)
for key, value in details.items():
parts.append(f"{key}={value}")
return " ".join(parts)
print(log_message("INFO", "用户登录", "成功", user="Alice", ip="192.168.1.1"))
输出结果:
text复制[INFO] 用户登录 成功 user=Alice ip=192.168.1.1
*args 会将多余的位置参数收集为元组,**kwargs 会将额外的关键字参数收集为字典。这种写法在框架代码、装饰器、日志封装中极其常见。
3.2 返回值设计原则
函数的返回值直接影响调用方的代码质量。最核心的原则是:返回值类型要稳定。
不好的写法:
python复制def get_user_score(user_id):
if user_id == 1:
return 95
return None
调用方就要反复判断:
python复制score = get_user_score(1)
if score is not None:
print(f"分数: {score}")
else:
print("用户不存在")
更好的写法是抛出异常让调用方感知错误:
python复制class UserNotFoundError(Exception):
pass
def get_user_score(user_id):
if user_id != 1:
raise UserNotFoundError(f"用户 {user_id} 不存在")
return 95
判断“用户不存在”属于异常流程,使用异常表达比返回 None 更清晰。当然,如果函数语义本身就是“查找,找不到返回空”,比如字典的 get,那返回 None 也是合理设计。关键在于语义要统一,不能有时返回数字、有时返回字符串、有时返回 None。
3.3 lambda 与高阶函数
lambda 表达式适合写一些简单的、一次性的函数逻辑。它并不是 Python 必须掌握的核心,但如果配合 sorted、filter、map 使用,可以减少很多临时函数的定义。
下面是一个按指定字段排序的示例:
python复制students = [
{"name": "Alice", "score": 88},
{"name": "Bob", "score": 95},
{"name": "Carol", "score": 72},
]
sorted_students = sorted(students, key=lambda s: s["score"], reverse=True)
print(sorted_students)
输出:
text复制[{'name': 'Bob', 'score': 95}, {'name': 'Alice', 'score': 88}, {'name': 'Carol', 'score': 72}]
lambda 虽然简洁,但不建议在其中写复杂逻辑。如果 lambda 内部超过一行能表达的范围,就应该定义成具名函数。
4. 容器类型与切片、推导式的深度使用
4.1 列表、元组、集合、字典怎么选
很多新手对容器类型的选择没有意识,遇到什么用什么,其实规则很清楚:
- 列表
list:有序、可重复、可变,大多数场景的默认选择。 - 元组
tuple:有序、可重复、不可变。适合表达“固定结构”的数据,比如坐标(x, y),也适合作为字典的键。 - 集合
set:无序、不可重复,最核心的用途是去重和判断成员关系。 - 字典
dict:键值映射,查找和更新性能优秀。
判断成员关系时,集合比列表快非常多。下面这个对比非常直观:
python复制import time
user_list = list(range(100000))
user_set = set(user_list)
target = 99999
start = time.time()
print(target in user_list)
end = time.time()
print(f"列表查找耗时: {end - start:.6f} 秒")
start = time.time()
print(target in user_set)
end = time.time()
print(f"集合查找耗时: {end - start:.6f} 秒")
列表查找是线性扫描,集合查找基于哈希表,数据量越大差距越明显。在真实项目中,如果一段代码要频繁做“是否存在”判断,尽早把数据放到集合里很划算。
4.2 切片操作详解
切片是 Python 处理序列数据的重要语法。基本格式是 序列[起始:结束:步长],其中结束位置不包含。
python复制nums = [10, 20, 30, 40, 50, 60, 70]
print(nums[1:4]) # [20, 30, 40]
print(nums[:3]) # [10, 20, 30]
print(nums[3:]) # [40, 50, 60, 70]
print(nums[::2]) # [10, 30, 50, 70]
print(nums[::-1]) # [70, 60, 50, 40, 30, 20, 10]
切片操作中比较容易出错的是负数索引。最后一个元素是 nums[-1],倒数第二个是 nums[-2]。切片的“左闭右开”规则也常常让人困惑,nums[1:4] 不包含索引 4。
切片还有一个容易被忽略的作用是复制列表。nums[:] 会生成一个全新的列表,修改新列表不会影响原列表。
4.3 列表推导式与生成器表达式
列表推导式是 Python 中非常受欢迎的可读性特性。
基础形式:
python复制squares = [x * x for x in range(1, 6)]
print(squares) # [1, 4, 9, 16, 25]
带条件过滤:
python复制even_squares = [x * x for x in range(1, 11) if x % 2 == 0]
print(even_squares) # [4, 16, 36, 64, 100]
嵌套循环也可以用列表推导式表达,但建议少用,因为可读性会下降:
python复制# 不太推荐:两层循环的推导式
pairs = [(x, y) for x in range(3) for y in range(3)]
如果数据量很大,使用生成器表达式可以节省内存。生成器表达式用圆括号,取值时逐个生成:
python复制large_sum = sum(x * x for x in range(1000000))
print(large_sum)
这里没有生成一个包含一百万元素的列表,而是边迭代边累加,内存占用明显降低。
4.4 类型转换的常见事项
Python 中的类型转换虽然很简单,但在数据处理项目里经常是错误来源。
int("123")可以将字符串转成整数。float("3.14")可以将字符串转成浮点数。str(100)可以将数字转成字符串。list("abc")得到['a', 'b', 'c']。set([1, 2, 2, 3])得到{1, 2, 3},天然去重。
需要注意,int("3.14") 会抛 ValueError,int("abc") 也会抛 ValueError。在做外部输入转换时,必须考虑异常处理,比如读取 Excel 单元格、命令行参数、用户输入时,脏数据是常态。
一个更可靠的转换函数示例:
python复制def safe_int(value, default=0):
try:
return int(value)
except (TypeError, ValueError):
return default
5. 实战案例:从零写一个销售数据汇总脚本
下面进入本文的核心部分。我们以一个真实的业务场景为例,把前面的知识串联起来。
5.1 需求分析
假设有一个销售团队,每天会产生一个 CSV 销售明细文件,包含日期、城市、产品、销售金额四列。现在需要写一个 Python 脚本,完成以下任务:
- 读取指定目录下的所有 CSV 文件。
- 按城市汇总销售金额。
- 找出单笔金额最高的记录。
- 按产品统计销售笔数。
- 将汇总结果输出到 Excel 文件。
功能不复杂,但足够体现数据分析脚本的基本流程:读取数据、清洗数据、分组聚合、输出结果。
5.2 准备测试数据
为了跑通脚本,先准备两个 CSV 文件。
文件 output/sales_20250101.csv:
csv复制日期,城市,产品,金额
2025-01-01,上海,笔记本电脑,8500
2025-01-01,北京,手机,3200
2025-01-01,上海,显示器,2100
2025-01-01,广州,键盘,280
文件 output/sales_20250102.csv:
csv复制日期,城市,产品,金额
2025-01-02,北京,笔记本电脑,7999
2025-01-02,上海,手机,3600
2025-01-02,广州,显示器,1899
2025-01-02,北京,键盘,210
5.3 编写模块:data_processor.py
python复制# 文件路径:python_advance/data_processor.py
import csv
from collections import defaultdict
def read_sales_data(file_path):
"""
读取 CSV 销售数据,返回字典列表。
每行记录转换为一个 dict,字段为 date/city/product/amount。
"""
records = []
with open(file_path, mode="r", encoding="utf-8") as f:
reader = csv.DictReader(f)
for row in reader:
try:
amount = float(row["金额"])
except (ValueError, KeyError):
continue
records.append({
"date": row["日期"],
"city": row["城市"],
"product": row["产品"],
"amount": amount,
})
return records
def merge_records(all_records):
"""
将多个批次的数据合并成一个列表,并去重(简单起见,这里直接合并)。
"""
merged = []
for records in all_records:
merged.extend(records)
return merged
def analyze_sales(records):
"""
核心统计逻辑。
返回一个包含城市汇总、单笔最高、产品笔数三个部分的字典。
"""
city_totals = defaultdict(float)
product_counts = defaultdict(int)
max_record = None
for rec in records:
city_totals[rec["city"]] += rec["amount"]
product_counts[rec["product"]] += 1
if max_record is None or rec["amount"] > max_record["amount"]:
max_record = rec
return {
"city_totals": dict(city_totals),
"max_record": max_record,
"product_counts": dict(product_counts),
}
defaultdict 是一个非常实用的工具。与普通字典不同,defaultdict(float) 在访问不存在的键时会自动创建值为 0.0 的键,省去了手动判断 if key not in dict 的步骤。
5.4 编写 Excel 输出模块
Python 写 Excel 最常用的库是 openpyxl。如果没有安装,需要在命令行中执行:
bash复制pip install openpyxl
python复制# 文件路径:python_advance/export_util.py
from openpyxl import Workbook
from openpyxl.styles import Font
def export_summary(city_totals, product_counts, max_record, output_path):
wb = Workbook()
# 第一个 Sheet:城市汇总
ws1 = wb.active
ws1.title = "城市汇总"
ws1.append(["城市", "总金额"])
for city, total in city_totals.items():
ws1.append([city, total])
# 第二个 Sheet:产品统计
ws2 = wb.create_sheet("产品统计")
ws2.append(["产品", "销售笔数"])
for product, count in product_counts.items():
ws2.append([product, count])
# 第三个 Sheet:最高单笔记录
ws3 = wb.create_sheet("最高单笔")
ws3.append(["日期", "城市", "产品", "金额"])
if max_record:
ws3.append([max_record["date"], max_record["city"], max_record["product"], max_record["amount"]])
wb.save(output_path)
print(f"汇总已保存到: {output_path}")
Workbook() 会创建一个内存中的 Excel 工作簿,ws.append 按行写入数据,最后调用 save 保存到磁盘。
5.5 编写主入口 main.py
python复制# 文件路径:python_advance/main.py
import glob
import os
from data_processor import read_sales_data, merge_records, analyze_sales
from export_util import export_summary
def main():
data_dir = "data"
output_dir = "output"
output_path = os.path.join(output_dir, "summary.xlsx")
csv_files = glob.glob(os.path.join(data_dir, "*.csv"))
if not csv_files:
print("未找到任何 CSV 文件,请检查 data 目录。")
return
all_records = []
for file_path in csv_files:
records = read_sales_data(file_path)
all_records.append(records)
print(f"已读取 {os.path.basename(file_path)}: {len(records)} 条记录")
records = merge_records(all_records)
result = analyze_sales(records)
print("\n=== 城市销售汇总 ===")
for city, total in result["city_totals"].items():
print(f"{city}: {total:.2f} 元")
print("\n=== 产品销售笔数 ===")
for product, count in result["product_counts"].items():
print(f"{product}: {count} 笔")
if result["max_record"]:
print("\n=== 最高单笔 ===")
print(result["max_record"])
export_summary(
result["city_totals"],
result["product_counts"],
result["max_record"],
output_path,
)
if __name__ == "__main__":
main()
glob.glob 用来匹配文件名,os.path.join 用来拼接路径。在项目脚本中优先使用 os.path.join,不要手动拼接 / 或 \\,否则换操作系统后可能出问题。
5.6 运行与结果
在项目目录下执行:
bash复制python main.py
预期输出:
text复制已读取 sales_20250101.csv: 4 条记录
已读取 sales_20250102.csv: 4 条记录
=== 城市销售汇总 ===
上海: 14200.00 元
北京: 11409.00 元
广州: 2179.00 元
=== 产品销售笔数 ===
笔记本电脑: 2 笔
手机: 2 笔
显示器: 2 笔
键盘: 2 笔
=== 最高单笔 ===
{'date': '2025-01-01', 'city': '上海', 'product': '笔记本电脑', 'amount': 8500.0}
汇总已保存到: output/summary.xlsx
打开生成的 output/summary.xlsx,可以看到三个工作表,数据与命令行输出一致。
这个项目虽然小,但它已经包含了日常 Python 工程脚本最常见的流程:路径匹配、文件读取、数据清洗、聚合统计、多表输出。掌握了这个流程,改成 Excel 读取、数据库读取、接口请求都是同样的套路。
6. 文件读写与数据处理进阶
6.1 文本文件的编码问题
读取文本文件最常遇到的问题就是编码。Python 默认的 open 编码取决于操作系统,在 Windows 中文系统上可能是 gbk,在 Linux 上通常是 utf-8。这会导致同一个脚本在不同环境上表现不一致。
原则是:读写文件时显式指定 encoding="utf-8",尤其是在自己创建的文件中。
python复制with open("notes.txt", "w", encoding="utf-8") as f:
f.write("中文内容")
使用 with 语句可以确保文件被正确关闭,即使中间出现异常也不会留下打开的文件句柄。
6.2 CSV 的读写细节
CSV 文件是最常见的数据交换格式。用 Python 自带模块 csv 即可完成绝大多数需求,不需要额外安装库。
读 CSV:
python复制import csv
with open("sales.csv", mode="r", encoding="utf-8") as f:
reader = csv.DictReader(f)
for row in reader:
print(row["城市"], row["金额"])
写 CSV:
python复制import csv
rows = [
["城市", "总金额"],
["上海", 14200],
["北京", 11409],
]
with open("summary.csv", mode="w", encoding="utf-8-sig", newline="") as f:
writer = csv.writer(f)
writer.writerows(rows)
这里有两个细节值得注意。
第一,encoding="utf-8-sig" 导出的 CSV 在 Excel 中打开时能正常显示中文,而普通 utf-8 编码的 CSV 用 Excel 打开可能出现中文乱码。
第二,写入时必须指定 newline="",否则在 Windows 上每写一行会多一个空行,这是 Excel 和 Python 对换行符处理不一致造成的。
6.3 JSON 数据的处理
JSON 是 Python 项目里使用频率很高的数据传输格式。json 模块可以把 Python 字典或列表保存成 JSON 文件,也可以从 JSON 字符串或文件恢复成 Python 对象。
python复制import json
data = {
"project": "python_advance",
"version": "1.0",
"tools": ["python", "openpyxl"],
}
with open("config.json", "w", encoding="utf-8") as f:
json.dump(data, f, ensure_ascii=False, indent=2)
with open("config.json", "r", encoding="utf-8") as f:
loaded = json.load(f)
print(loaded)
ensure_ascii=False 可以保证中文以原字符形式保存,而不是转成 \uXXXX 的转义序列。indent=2 会让输出的 JSON 有缩进,方便阅读。
6.4 筛选数据:从“遍历全部”到“精准提取”
在数据处理项目里,“筛选出符合条件的记录”是最常见的需求。Python 的 filter 函数可以结合 lambda 使用,但更加可读、也更推荐的方式是列表推导式。
python复制records = [
{"city": "上海", "amount": 8500},
{"city": "北京", "amount": 3200},
{"city": "广州", "amount": 280},
]
high_amount_records = [r for r in records if r["amount"] > 1000]
print(high_amount_records)
如果要对字典的键进行筛选,也可以使用字典推导式:
python复制city_totals = {"上海": 14200, "北京": 11409, "广州": 2179}
high_cities = {city: total for city, total in city_totals.items() if total > 5000}
print(high_cities) # {'上海': 14200, '北京': 11409}
这种写法的核心价值是“把条件和变换都放在一行中表达”,代码量少,语义清晰,也不容易引入循环变量污染外部作用域的问题。
7. 异常处理与脚本健壮性
7.1 什么时候需要使用 try-except
try-except 不是用来“掩盖错误”的,而是用来处理“可预期的异常流程”。
一个常见的例子是用户输入:
python复制while True:
user_input = input("请输入数字: ")
try:
number = int(user_input)
break
except ValueError:
print("输入无效,请重新输入。")
print(f"你输入的数字是: {number}")
这里几乎必须用异常处理,因为用户输入的内容无法在编码阶段预知。而像普通列表索引取值,就完全不需要异常处理,应该通过判断长度来避免 IndexError。
7.2 多异常捕获与异常链
捕获多个不同的异常类型,可以分开写多个 except 块,也可以使用元组合并。
python复制try:
amount = float(row["金额"])
except KeyError:
print("缺少金额字段")
except ValueError:
print("金额无法转换为数字")
如果两种异常的处理方式相同,可以合并:
python复制try:
value = int(raw_value)
except (TypeError, ValueError):
value = 0
在需要保留原始异常信息时,可以使用 from 关键字形成异常链:
python复制class DataParseError(Exception):
pass
def load_sales(file_path):
try:
with open(file_path, encoding="utf-8") as f:
return f.read()
except OSError as e:
raise DataParseError(f"无法读取文件: {file_path}") from e
这样既向上层抛出了业务异常,又保留了底层 OSError 的原始上下文,日志排查时会非常有用。
7.3 防御式编程的几个习惯
防御式编程并不复杂,关键是养成习惯。
- 打开文件时,先判断文件是否存在。
- 读取外部数据时,先确认字段是否齐全。
- 做除法之前,先检查除数是否为零。
- 遍历列表或字典时,考虑空数据的情况。
- 写函数时,为参数提供合理的默认值。
这些习惯在写练习代码时看不出差别,但一旦代码要交给别人用、要处理真实数据,价值立刻显现。
8. 常见问题与排查思路
下面是 Python 项目实操里出现频率比较高的几个问题。遇到报错时,可以按表格里的思路快速定位。
| 问题现象 | 常见原因 | 解决思路 |
|---|---|---|
命令行运行 python 提示无法识别 |
安装时没有勾选 Add Python to PATH | 重新安装并勾选,或手动配置系统环境变量 |
| 中文输出乱码 | 控制台编码或文件编码不一致 | 统一使用 UTF-8,读文件时显式传入 encoding="utf-8" |
ModuleNotFoundError: No module named 'openpyxl' |
库未安装或安装到了其他 Python 环境 | 执行 pip install openpyxl,确认当前使用的 Python 解释器路径 |
IndexError: list index out of range |
访问了不存在的列表下标 | 先确认列表长度,或使用更安全的索引方式 |
KeyError: '城市' |
字典中不存在该键 | 使用 dict.get("城市"),或在读取前检查键是否存在 |
| CSV 写入 Excel 后中文乱码 | 编码使用了 utf-8 而非 utf-8-sig |
写入时指定 encoding="utf-8-sig" |
| 写 CSV 每行之间多一个空行 | Windows 下没有指定 newline 参数 | 打开文件时添加 newline="" |
| 默认参数列表被多次调用污染 | 将可变对象作为函数默认参数 | 默认值改为 None,内部再初始化 |
| 两个 Python 环境并存导致库装错位置 | 系统中有多个 Python 解释器 | 使用 python -m pip install,或为项目创建虚拟环境 |
关于虚拟环境,这里单独说明一下。使用虚拟环境的目的是隔离不同项目的依赖,避免互相影响。创建和使用方式如下:
bash复制python -m venv venv
# Windows 激活
venv\Scripts\activate
# macOS / Linux 激活
source venv/bin/activate
激活后,pip install 安装的包都会进入当前虚拟环境,不会污染系统全局 Python。
9. 工程化最佳实践
9.1 命名规范
Python 官方推荐使用 snake_case 命名变量和函数,类名使用 CamelCase,常量使用 UPPER_CASE。中文变量名虽然合法,但不建议在团队项目中使用,保持英文命名便于协作和搜索。
举一个反例和一个正例:
python复制# 不太容易看懂
a = "Alice"
s = 88
# 清晰明了
student_name = "Alice"
student_score = 88
变量名应当表达“是什么”,函数名应当表达“做什么”。process_data 就比 deal 清晰得多。
9.2 模块和函数的划分
一个 Python 文件不应过长。如果一个文件超过几百行,通常意味着该拆分模块了。函数尽量保持单一职责,一个函数只做一件事,并且函数名能概括这件事。
比如在销售汇总案例中,读取数据、统计、导出 Excel 分别放在不同模块中。后续如果要新增“按日期汇总”的功能,只需要在 analyze_sales 中增加一个统计项,其他代码完全不用改。
9.3 日志推荐使用 logging 而不是 print
print 在工具脚本里够用,但在正式项目中,推荐使用标准库 logging。它支持多日志级别、时间戳、输出文件、格式化配置,排查线上问题时必不可少。
python复制# 文件路径:python_advance/logger_util.py
import logging
logging.basicConfig(
level=logging.INFO,
format="%(asctime)s - %(name)s - %(levelname)s - %(message)s",
handlers=[
logging.FileHandler("app.log", encoding="utf-8"),
logging.StreamHandler(),
],
)
logger = logging.getLogger("python_advance")
def main():
logger.info("程序启动")
try:
value = int("abc")
except ValueError:
logger.error("数值转换失败", exc_info=True)
if __name__ == "__main__":
main()
exc_info=True 会在日志中输出完整的异常堆栈,这是排查问题的关键信息。
9.4 依赖管理
当项目中使用到第三方库时,建议在 requirements.txt 中列出依赖。生成方式如下:
bash复制pip freeze > requirements.txt
其他人在新环境安装依赖时只需要执行:
bash复制pip install -r requirements.txt
不过 pip freeze 会包含所有已安装的包,有时会混入无关包。更精确的做法是手动维护一个精简的 requirements.txt,只写项目直接依赖的库,比如:
text复制openpyxl>=3.1.0
9.5 安全边界与权限意识
如果脚本涉及文件删除、数据库修改或部署在生产环境,务必遵循以下原则:
- 删除或覆盖操作前先备份,最好先输出预览供人确认。
- 数据库操作使用事务,先验证再提交。
- 脚本中不要硬编码密码或密钥,优先使用环境变量或配置文件。
- 最小权限原则:脚本使用的账号只授予必要权限。
虽然这次案例只是读写 Excel,但安全意识应该从写第一行生产脚本时就开始建立。
10. 总结与学习路线
到这里,我们已经把 Python 从基础语法向工程实战推进了一大步。回顾一下今天的关键点:
- 函数进阶方面,重点掌握了默认参数陷阱、
*args、**kwargs和返回值的稳定性设计。 - 容器类型方面,清楚了列表、元组、集合、字典的适用场景,理解了集合在查找场景下的性能优势。
- 数据操作方面,掌握了切片、列表推导式、字典推导式和常见类型转换方法。
- 文件处理方面,了解了 CSV、JSON、Excel 的读写方式,以及编码和换行符等平台差异问题。
- 异常处理方面,学会了使用 try-except 处理预期异常,使用自定义异常和异常链提升代码可维护性。
- 工程实践方面,用销售数据汇总脚本串联了从读取到输出的完整流程,并补充了日志和依赖管理的最佳实践。
下一步的学习方向,可以根据兴趣选择:
- 数据分析方向:继续学习 pandas 和 matplotlib,用 Python 完成更复杂的数据聚合与可视化。
- 爬虫方向:学习 requests 和 BeautifulSoup 或 lxml,掌握网页数据采集与清洗。
- 后端方向:接触 Flask 或 FastAPI,将脚本能力封装成接口。
- 自动化运维方向:学习 os、subprocess、schedule 等模块,实现定时任务和系统管理脚本。
- 量化方向:以 Python 为基础熟悉数据预处理、回测框架和策略评估指标。
如果本文对你有帮助,建议把销售数据汇总这个案例自己动手实现一遍,然后试着增加一个“按月统计”的功能。真正上手敲一遍代码、再遇到几个小坑并解决掉,这些知识才会内化成你的能力。
