很多学 Python 的人,会卡在一个很奇怪的位置:语法书看完了,教程也跟过几套,简单的脚本能跑通,列表、字典、函数都“见过”,可一旦老板丢过来一个真实任务,还是手足无措。不是基础没学好,而是缺少一条从“能跑”到“能落地”的桥梁。
这篇内容定位是 Learn Python Programming Masterclass 的 Part 2。Part 1 通常帮你建立语法地基:变量、分支、循环、函数、基础数据结构。Part 2 要往上走半步,集中解决实战里最常被问到的几个瓶颈:环境怎么管理、函数怎么拆、数据怎么读写、数据库怎么连、报错怎么排。
读完这篇文章,你至少能把手头的“玩具脚本”整理成一份结构清楚、可复用、敢交给同事的代码;也能在处理 CSV、Excel、SQLite 或 Oracle 这类真实数据源时,少走一半弯路。
1. 这篇文章真正要解决的问题
先给一个判断:Python 真正难的地方,从来不是语法,而是“工程感”。
很多初学者是这样的状态:能写一个 print,能跑通 for 循环,能写一个简单的函数,但代码一旦超过两百行,就开始失控。变量名随手起,函数写得又长又乱,环境依赖一团糟,别人拿到他的代码根本跑不起来。更常见的情况是,本地运行好好的,换一台电脑或者换一个 Python 版本,立刻报错。
这篇文章不打算讲 Python 的所有知识点,而是聚焦六件高频实战事项:
- 函数与模块化设计,解决代码复用和维护问题;
- 虚拟环境与依赖管理,解决“在我电脑上好好的”问题;
- 列表切片、字典推导、生成器,解决数据处理效率问题;
- 文件、CSV、Excel 读写,解决真实业务数据来源问题;
- 数据库连接与参数化查询,解决数据落库和注入风险问题;
- 异常处理和日志,解决程序崩溃后还能追踪现场的问题。
适合读这篇文章的读者有三类:刚学完 Python 基础、准备做自动化脚本或数据分析的转行开发者;写了几年脚本但始终感觉代码比较“散”的工程师;以及需要在 Windows/macOS/Linux 上搭建 Python 开发和运行环境,经常遇到环境坑的运维或测试同学。
如果你是已经完全掌握 Python 工程化的资深开发者,这篇文章会偏基础,但其中关于数据库连接、编码、虚拟环境的部分,也可以当作新同学入门的培训材料。
还有一个需要提前说明的观点:不要追求“把所有代码写在一个文件里”。真实项目里,代码组织方式比单行炫技重要得多。Part 2 的核心目标,就是帮你建立这种组织意识。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 从“能跑”到“可维护”:函数与模块化设计
2.1 函数不是把代码包起来,而是“抽象边界”
刚开始写脚本时,最常见的问题是:一段逻辑需要重复三遍,就直接复制粘贴三遍。比如计算订单折扣,先算一次,再在另一个报表里算一次,最后又在邮件通知里算一次。等到折扣规则变了,就要改三个地方,漏改一个就是事故。
函数的本质不是“减少代码量”,而是给代码画了一条边界:输入是什么、输出是什么、中间过程外部不需要关心。这个边界画好了,改折扣规则就只需要改函数内部,其他调用方不用动。
看一个经典误区:
python复制# 反面示例:可变默认参数
def add_item(item, cart=[]):
cart.append(item)
return cart
很多初学者第一次看到这段代码,会觉得没问题。但 Python 的默认参数只在函数定义时求值一次,cart=[] 是同一个列表对象。多次调用会把历史数据累积在一起:
python复制print(add_item("apple")) # ['apple']
print(add_item("banana")) # ['apple', 'banana'],而不是 ['banana']
正确写法是让默认参数为 None,在函数内部创建新列表:
python复制def add_item(item, cart=None):
if cart is None:
cart = []
cart.append(item)
return cart
2.2 参数设计的两个实用工具:*args 和 **kwargs
写库封装或回调函数时,经常需要接收不定数量的参数。*args 接收位置参数,**kwargs 接收关键字参数。一个常见场景是写日志装饰器,或者封装数据库操作:
python复制def log_call(func):
def wrapper(*args, **kwargs):
print(f"calling {func.__name__} with args={args}, kwargs={kwargs}")
return func(*args, **kwargs)
return wrapper
@log_call
def add(a, b):
return a + b
add(1, 2)
这里要提醒一下:不要为了用 *args/**kwargs 而用。如果一个函数参数列表明确,就写明确参数名,这样 IDE 补全和代码审查都会舒服很多。只有当参数数量确实不确定,或者要写通用装饰器时,才使用它们。
2.3 模块化:一个文件只做一类事情
真实项目里,我建议一开始就建立这样的目录结构:
code复制project_demo/
├── main.py
├── config.py
├── utils/
│ ├── __init__.py
│ ├── file_helper.py
│ └── db_helper.py
└── requirements.txt
main.py只负责主流程编排;config.py存放常量、路径、数据库连接信息;utils/下放可复用的函数。
很多新人觉得这样“麻烦”,但只要你经历过一次“为了找一个函数定义,在一个 3000 行文件里翻半天”,就会明白模块化的价值。模块化不增加运行负担,却能极大降低维护成本。
3. Python 环境管理:虚拟环境不是选修课
3.1 为什么需要虚拟环境
新人最容易踩的坑是:在系统 Python 里直接 pip install 各种包。比如一个项目需要 numpy==1.21,另一个项目需要 numpy==2.0,两个版本一旦冲突,项目就跑不起来。更麻烦的是有些系统级工具依赖固定版本的 setuptools,被升级后连系统命令都可能受影响。
虚拟环境就是一个独立隔离的 Python 运行目录。每个项目有自己的一整套依赖,互不干扰。从 Python 3.3 开始,官方提供了 venv 模块,不需要额外安装工具。
3.2 虚拟环境的基本操作
在项目目录下创建虚拟环境:
bash复制python -m venv venv
激活环境:
- Windows:
venv\Scripts\activate - macOS / Linux:
source venv/bin/activate
然后安装依赖:
bash复制pip install -r requirements.txt
退出环境:
bash复制deactivate
一个容易被忽略的细节:.gitignore 里必须把 venv/ 目录排除掉。虚拟环境通常几百 MB,而且不同机器路径不同,提交到代码仓库毫无意义。
3.3 依赖锁定的最佳实践
最简单的做法是把直接依赖写入 requirements.txt:
code复制requests==2.31.0
pandas==2.1.4
openpyxl==3.1.2
注意,我强调版本号必须写死。不写版本号的 requirements.txt 简直是一场灾难:今天能安装,三个月后某个主版本升级,接口变了,项目就挂掉。
如果你是新手,可以先用 pip freeze > requirements.txt 导出当前环境所有包,但这样会带出一堆传递依赖,不够干净。更推荐的做法是:只记录直接依赖和明确版本,用一个干净环境测试 pip install -r requirements.txt 能跑通。这个操作成本很低,却能在换电脑、部署生产环境时省下大量时间。
4. 核心数据结构进阶:切片、推导式与生成器
4.1 列表切片容易错的地方
很多教程会讲 list[start:end:step],但真正到面试和实战里,容易错的是负索引和步长方向。
python复制data = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
# 取最后 3 个元素
print(data[-3:]) # [7, 8, 9]
# 逆序
print(data[::-1]) # [9, 8, 7, 6, 5, 4, 3, 2, 1, 0]
# 每隔 2 个取一个
print(data[::2]) # [0, 2, 4, 6, 8]
这里真正容易踩坑的地方是:切片返回的是新列表,但如果切片的元素本身是可变对象(比如列表的列表),修改内层对象会影响到原列表。这是浅拷贝问题。如果需要深拷贝,用 copy.deepcopy。
4.2 字典推导式和集合推导式
字典推导式在数据清洗时非常有用。比如想把一个列表转成字典,key 是用户 ID,value 是用户名:
python复制users = [{"id": 1, "name": "Alice"}, {"id": 2, "name": "Bob"}]
user_map = {u["id"]: u["name"] for u in users}
# {1: 'Alice', 2: 'Bob'}
集合推导式可以用来去重:
python复制ids = [1, 2, 2, 3, 3, 3]
unique_ids = {x for x in ids}
# {1, 2, 3}
推导式很简洁,但不要嵌套太深。一个三层嵌套推导式,阅读成本远高于等价循环。我的建议是:超过两层的逻辑,老老实实写循环。
4.3 生成器:省内存的关键
处理大文件或大数据量时,最怕的就是把全部数据一次性加载到内存。比如一个几 GB 的日志文件,如果在循环里不断往列表追加行,内存迟早打爆。
生成器是边遍历边计算的迭代器。最经典的示例是斐波那契数列生成器:
python复制def fibonacci():
a, b = 0, 1
while True:
yield a
a, b = b, a + b
调用方可以只取前 10 个:
python复制from itertools import islice
f = fibonacci()
print(list(islice(f, 10)))
同样,读文件时可以逐行处理:
python复制with open("large.log", encoding="utf-8") as f:
for line in f:
# 逐行处理,不把整个文件读进内存
pass
这个习惯一旦养成,后续写数据处理脚本会从容很多。
5. 文件处理、CSV 与 Excel 读写
5.1 文件读写:先处理编码问题
Python 2 时代,编码问题很突出;Python 3 下,字符串默认 Unicode,但文件读写依然要小心编码。最稳妥的方式是打开文件时明确指定 encoding:
python复制# 文件路径:write_file.py
content = "你好,CSDN"
with open("output.txt", "w", encoding="utf-8") as f:
f.write(content)
with open("output.txt", "r", encoding="utf-8") as f:
print(f.read())
如果不指定编码,在 Windows 上默认可能是 gbk,其他机器上可能是 utf-8。代码部署到另一台机器后,同样一段代码可能直接报 UnicodeEncodeError。所以,凡是读写文本文件,都建议显式编码。
5.2 使用标准库 csv 模块
如果是简单 CSV,不需要引入 pandas:
python复制# 文件路径:csv_demo.py
import csv
with open("data.csv", "r", encoding="utf-8") as f:
reader = csv.DictReader(f)
for row in reader:
print(row)
写入 CSV:
python复制with open("output.csv", "w", encoding="utf-8", newline="") as f:
fieldnames = ["name", "age"]
writer = csv.DictWriter(f, fieldnames=fieldnames)
writer.writeheader()
writer.writerow({"name": "Alice", "age": 25})
有一个细节特别多新手踩坑:写 CSV 文件时如果不指定 newline="",Windows 下每行之间会多一个空行。这个坑我至少见过五次。
5.3 写 Excel:pandas + openpyxl
日常办公自动化里,Excel 是高频场景。假设你有一组数据,想输出到 Excel 文件:
python复制# 文件路径:excel_demo.py
import pandas as pd
df = pd.DataFrame({
"姓名": ["张三", "李四"],
"销售额": [12000, 9800],
"城市": ["北京", "上海"]
})
df.to_excel("report.xlsx", index=False, engine="openpyxl")
运行前需要确保安装了依赖:
bash复制pip install pandas openpyxl
注意,to_excel 的 engine 参数最常见是 openpyxl,如果报错缺少模块,优先检查 openpyxl 是否安装。另外,不要直接对原始 DataFrame 做修改,先 copy(),避免后续分析时污染源数据。
6. 数据库连接:从 SQLite 到 Oracle 等企业库
6.1 为什么用参数化查询
无论连接什么数据库,有一条铁律:不要把用户输入直接拼接进 SQL 字符串。
python复制# 错误示例,存在注入风险
username = "admin' OR '1'='1"
sql = f"SELECT * FROM users WHERE name = '{username}'"
如果这段代码跑在有数据库权限的环境里,后果可能非常严重。正确做法是参数化查询:
python复制cursor.execute("SELECT * FROM users WHERE name = ?", (username,))
参数化查询不仅安全,还能避免字符串里引号转义的麻烦。
6.2 SQLite:内置、零配置文件,适合学流程
Python 内置 sqlite3,适合本地小工具和入门练习:
python复制# 文件路径:sqlite_demo.py
import sqlite3
conn = sqlite3.connect("demo.db")
cursor = conn.cursor()
cursor.execute("CREATE TABLE IF NOT EXISTS users (id INTEGER PRIMARY KEY, name TEXT)")
cursor.execute("INSERT INTO users (name) VALUES (?)", ("Alice",))
conn.commit()
cursor.execute("SELECT * FROM users")
print(cursor.fetchall())
conn.close()
注意:写操作之后要 commit(),否则数据不会真正落盘。老手也容易忘这一点。
6.3 连接 Oracle:驱动选择是关键
在数据库场景里,热词中出现了 Oracle 相关内容。连接 Oracle 可以用 python-oracledb(Oracle 官方驱动,是旧 cx_Oracle 的下一代),或者继续用 cx_Oracle。安装:
bash复制pip install python-oracledb
连接示例:
python复制# 文件路径:oracle_demo.py
import oracledb
# 注意:thin 模式不需要 Oracle 客户端,但不适合所有功能
conn = oracledb.connect(
user="scott",
password="tiger",
dsn="host:port/service_name"
)
cursor = conn.cursor()
cursor.execute("SELECT * FROM employees WHERE dept_id = :1", (10,))
rows = cursor.fetchall()
print(rows)
conn.close()
这里需要说明,不同版本的驱动和数据库对连接字符串格式要求略有差异。如果遇到 DPI-1047 等错误,通常是缺少客户端库或者版本不匹配。生产环境里面,更稳妥的做法是查阅当前驱动版本对应文档,不要在博客里背死命令。
6.4 连接 Oracle 类企业库时的注意事项
在企业环境连接数据库,有几个工程边界必须强调:
- 数据库密码不要硬编码在代码里,至少用环境变量或配置文件;
- 生产数据库操作前,先确认有没有测试库;操作前备份,并且使用最小权限账号;
- 大批量查询时,采用分批
fetchmany(size)而不是一次fetchall(); - 连接用完后及时关闭,最好配合
with语句或上下文管理器。
python复制with oracledb.connect(user="scott", password=password, dsn=dsn) as conn:
with conn.cursor() as cursor:
cursor.execute("SELECT * FROM employees WHERE dept_id = :1", (10,))
while True:
rows = cursor.fetchmany(100)
if not rows:
break
for row in rows:
print(row)
这种写法能避免大量数据一次性挤爆内存。
7. 异常处理与日志:让程序出问题时还能救你
7.1 try/except/else/finally 的完整结构
很多初学者只写:
python复制try:
do_something()
except:
pass
这种写法特别危险,因为它把所有异常全部吞掉,程序表面上继续跑,实际已经悄悄出错。更合理的方式是明确捕获异常类型:
python复制try:
result = 10 / 0
except ZeroDivisionError as e:
print(f"除零错误: {e}")
else:
print(f"结果: {result}")
finally:
print("无论是否异常都会执行")
else 可以理解为“没有异常时要做的事情”,它能防止代码块过大;finally 通常用来释放资源。原则是:能不捕获就不捕获;必须捕获时,异常类型尽量具体,并且至少打日志。
7.2 用 logging 替代 print
临时调试可以用 print,但一旦代码交给别人或者部署到服务里,print 很难控制级别,也不方便输出到文件。Python 标准库 logging 足够日常使用:
python复制# 文件路径:logging_demo.py
import logging
logging.basicConfig(
level=logging.INFO,
format="%(asctime)s | %(levelname)s | %(name)s | %(message)s"
)
logger = logging.getLogger(__name__)
logger.debug("调试信息")
logger.info("正常流程信息")
logger.warning("警告信息")
logger.error("错误信息")
注意生产环境不要用 logger.info 打密码、token、身份证号等敏感信息。日志是为了查问题,不是为了制造下一次安全事故。
8. 常见问题与排查清单
根据很多初学者的提问频率,我把最常出现的问题整理成一张排查表。
| 问题现象 | 可能原因 | 排查方式 | 解决方案 |
|---|---|---|---|
pip install numpy 报错 |
网络源慢或不可达 | 查看完整报错信息,检查 pip 源 | 更换为国内镜像源,如 pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple |
| VSCode 中选择的 Python 解释器不是当前虚拟环境 | 没有激活环境或在 IDE 中选错解释器 | 在命令面板输入 Python: Select Interpreter,查看路径 |
选择 venv 目录下的 python.exe |
ModuleNotFoundError: No module named 'xxx' |
依赖没装,或者装到了别的环境 | pip list 查看当前环境包,检查当前使用的是哪个 Python |
激活正确虚拟环境后重新安装 |
读写文件遇到 UnicodeEncodeError / UnicodeDecodeError |
文件编码和代码中声明的编码不一致 | 用文本编辑器查看文件编码,打印报错上下文 | 统一用 encoding="utf-8",特殊情况改为文件实际编码 |
| CSV 写出来多空行 | Windows 下未设置 newline="" |
检查 csv 写入代码 | 打开文件时加 newline="" |
| 列表切片修改后原列表也被改了 | 浅拷贝问题 | 用 id() 检查内部对象引用 |
需要独立数据时使用 copy.deepcopy |
连接 Oracle 报 DPI-1047 |
客户端库缺失或版本不匹配 | 查看驱动文档对客户端的要求 | 安装对应 Oracle Instant Client,或改用 thin 模式 |
| 代码在别人电脑上跑不起来 | 依赖没有锁定、Python 版本不一致 | 检查 requirements.txt 是否有版本号 |
锁定版本,创建干净虚拟环境验证 |
pandas 写 Excel 报错 ModuleNotFoundError: openpyxl |
缺少 Excel 引擎 | pip list 检查 openpyxl |
安装 openpyxl |
| 程序捕获不到异常,直接退出 | 异常类型不匹配或外层未捕获 | 完整输出堆栈并尝试在测试环境复现 | 先用最具体的异常类型调试,再决定捕获范围 |
| 数据库插入数据后查不到 | 没有 commit | 检查事务状态 | 写入后调用 conn.commit() |
这张表不需要背下来,但值得收藏。遇到问题时,先看完整报错信息,再对照定位,绝大多数问题都是环境和依赖问题,而不是算法问题。
9. 最佳实践与工程建议
最后这部分,不是可有可无的鸡汤,而是代码质量的分水岭。
9.1 命名与类型注解
变量名不要用 a、b、temp、data1。Python 官方推荐 snake_case,类名用 CamelCase。现在 Python 3 支持类型注解,即使不额外安装工具,写清楚参数和返回类型也能让 IDE 提示更好用:
python复制def calc_discount(price: float, rate: float = 0.9) -> float:
return price * rate
类型注解不强制运行时报错,但配合 mypy 等工具,可以在开发阶段发现很多低级问题。
9.2 配置外置与安全边界
数据库连接串、密钥、文件路径,不要直接写在代码里。最基础的做法是放在环境变量或 .env 文件里,并且不要提交到 Git。
python复制import os
DB_USER = os.getenv("DB_USER", "default_user")
DB_PASSWORD = os.getenv("DB_PASSWORD", "")
如果必须在代码仓库中放配置示例,就放一个 config.example.py,把真实密码留空。
9.3 动手实践路线
Part 2 学完,不要急着追新框架。建议按下面的顺序做一个小项目闭环:
- 写一个批量重命名文件的脚本,练习
os模块和文件 IO; - 把数据存储到 SQLite 并读取,练习数据库参数化查询和事务提交;
- 用 pandas 读一份 Excel,做简单汇总统计,再输出一份新 Excel;
- 把脚本拆成
main.py、utils/、config.py,加上异常处理和日志; - 给关键函数写两个单元测试,体会“能跑”和“能验证”的区别。
这个闭环做下来,你会比单纯看十篇教程收获大得多。
另外,有一点值得反复提醒:生产环境改代码前,先在测试环境跑通;涉及数据库操作,先备份再执行;涉及权限变更,遵循最小权限原则。这些不是套话,而是保证你不会在项目出事时只能干着急。
回到最初的问题:Python 进阶不是了解更多奇技淫巧,而是把代码写得让人放心。当你开始在意虚拟环境、函数边界、异常日志、参数化查询,并且让每一步都能验证时,你就已经完成了从脚本小子到工程开发者最重要的一步。
