Python全栈房屋租赁系统开发实战与架构设计

1. 项目概述：Python全栈房屋租赁系统开发实录

去年帮朋友改造房产中介的业务系统时，我基于Python技术栈设计了一套房屋租赁管理系统。这个项目融合了Flask的轻量灵活和Django的全能生态，实现了从房源采集到合同管理的全流程数字化。相比市面上动辄数十万的商业软件，这套系统用开源技术栈实现了90%的核心功能，特别适合中小型中介机构或房东群体使用。

系统最核心的价值在于解决了三个痛点：一是通过自动化爬虫聚合多平台房源，二是用智能匹配算法连接租客需求与房源特征，三是电子合同签署与租金提醒功能降低了人工管理成本。整个系统采用前后端分离架构，前端用Vue.js实现响应式界面，后端API分别用Flask和Django构建不同服务模块，数据库则按业务场景混合使用PostgreSQL和MongoDB。

2. 技术选型与架构设计

2.1 为什么选择Python混合技术栈

在技术选型阶段，我对比了三种方案：

1. 纯Django方案：利用Admin后台快速搭建
2. 纯Flask方案：完全自定义开发
3. 混合方案：关键业务用Django，定制功能用Flask

最终选择混合方案主要基于以下考量：

• Django自带的ORM和Admin非常适合快速构建房源管理、用户权限等标准功能
• Flask的灵活性更适合处理爬虫调度、智能推荐等需要高度定制的模块
• 两者都使用Python，共享虚拟环境和包管理，降低维护成本

经验提示：混合架构中要特别注意路由命名冲突，建议给Flask服务添加/api/flask/前缀，Django服务使用/api/django/前缀

2.2 系统模块划分与数据流

整个系统分为六个核心模块：

数据流动采用事件驱动架构，关键流程举例：

1. 爬虫获取新房源 → 触发Kafka消息 → 推荐系统更新特征向量
2. 用户收藏房源 → 写入Redis计数器 → 影响热度排行榜
3. 合同签署完成 → 生成定时任务 → 提前3天发送租金提醒

3. 核心功能实现细节

3.1 多源爬虫的实战技巧

房源数据采集面临三个主要挑战：反爬机制、数据异构和增量更新。我的解决方案是：

python复制# 基于Scrapy+Selenuim的动态爬虫示例
class LianjiaSpider(scrapy.Spider):
    name = "lianjia"
    
    def start_requests(self):
        # 使用代理中间件
        yield scrapy.Request(
            url="https://sh.lianjia.com/zufang",
            meta={"proxy": "http://proxy_pool:5010"},
            callback=self.parse_district
        )
    
    def parse_district(self, response):
        # 处理动态渲染内容
        driver = response.meta.get('driver')
        if not driver:
            driver = webdriver.Chrome()
            driver.get(response.url)
        
        # 模拟人类滚动行为
        for _ in range(3):
            driver.execute_script("window.scrollBy(0, 800)")
            time.sleep(random.uniform(1, 3))
        
        # 提取结构化数据
        items = []
        for card in driver.find_elements(By.CSS_SELECTOR, '.content__list--item'):
            item = RentalItem()
            item['source'] = 'lianjia'
            item['title'] = card.find_element(...).text
            # 其他字段解析...
            items.append(item)
        
        # 存入MongoDB并去重
        self.mongo_collection.bulk_write([
            UpdateOne(
                {'hash': md5(item['url'])},
                {'$set': dict(item)},
                upsert=True
            ) for item in items
        ])

关键优化点：

1. 使用代理池轮换IP（需自行搭建）
2. 动态加载等待时间加入随机因子
3. 基于URL哈希值实现增量更新
4. 异常重试机制（特别处理验证码）

3.2 智能推荐系统实现

推荐算法采用特征工程+轻量级机器学习方案：

python复制# 基于特征的房源排序算法
class RecommendationEngine:
    def __init__(self):
        self.user_features = UserFeatureLoader()
        self.house_features = HouseFeatureLoader()
        
    def recommend(self, user_id, top_n=10):
        # 加载用户画像
        u_feats = self.user_features.get(user_id)
        
        # 候选房源初筛
        candidates = self._preselect(u_feats)
        
        # 计算匹配分数
        scores = []
        for house in candidates:
            h_feats = self.house_features.get(house['id'])
            score = self._calculate_score(u_feats, h_feats)
            scores.append((house, score))
        
        # 排序返回
        return sorted(scores, key=lambda x: -x[1])[:top_n]
    
    def _calculate_score(self, u_feats, h_feats):
        # 价格权重（非线性处理）
        price_score = 1 / (1 + abs(u_feats['price_pref'] - h_feats['price'])/1000)
        
        # 位置分（地理距离）
        loc_score = 1 / (1 + haversine(u_feats['loc'], h_feats['loc']))
        
        # 特征交叉
        cross_features = [
            u_feats['like_style'] == h_feats['style'],
            u_feats['require_parking'] and h_feats['has_parking'],
            # 其他交叉特征...
        ]
        
        return 0.4*price_score + 0.3*loc_score + 0.3*sum(cross_features)

实际应用中还需要考虑：

• 冷启动问题（新用户/新房源）
• 实时反馈调整权重
• AB测试框架搭建

4. 混合架构的工程化实践

4.1 Django与Flask的协同工作

项目根目录结构如下：

code复制rental_system/
├── django_app/       # Django主项目
│   ├── settings.py   # 包含FLASK_SERVICE_URL配置
│   └── urls.py
├── flask_app/        # Flask微服务
│   ├── requirements.txt
│   └── app.py
├── shared/           # 公共代码
│   ├── models.py     # 通用数据模型
│   └── utils.py      # 工具函数
└── docker-compose.yml

关键集成点处理：

1. 会话共享：使用Redis存储Session

   python复制# Django配置
   SESSION_ENGINE = "django.contrib.sessions.backends.cache"
   SESSION_CACHE_ALIAS = "default"
   
   # Flask配置
   app.secret_key = 'same_as_django'
   app.config['SESSION_TYPE'] = 'redis'
   

2. 跨服务API调用

   python复制# Django中调用Flask服务
   import requests
   
   def get_recommendations(user_id):
       url = f"{settings.FLASK_SERVICE_URL}/recommend/{user_id}"
       try:
           resp = requests.get(url, timeout=3)
           return resp.json()
       except requests.exceptions.RequestException:
           return []
   

3. 统一认证处理

   python复制# Flask中的JWT验证装饰器
   from functools import wraps
   import jwt
   
   def django_jwt_required(f):
       @wraps(f)
       def decorated_function(*args, **kwargs):
           token = request.headers.get('Authorization')
           try:
               payload = jwt.decode(
                   token,
                   'django_secret_key',  # 与Django设置一致
                   algorithms=['HS256']
               )
               g.user_id = payload['user_id']
           except Exception:
               return {'error': 'Invalid token'}, 401
           return f(*args, **kwargs)
       return decorated_function
   

4.2 性能优化实战记录

在压力测试中发现的三个性能瓶颈及解决方案：

1. 房源列表页响应慢

   • 现象：500条数据时API响应超过2s
   • 分析：N+1查询问题 + 未使用分页
   • 优化：

     python复制# 优化前的危险代码
     houses = House.objects.all()
     result = [{
         'id': h.id,
         'owner': h.owner.name,  # 每次访问触发新查询
         # ...
     } for h in houses]
     
     # 优化方案
     houses = House.objects.select_related('owner').prefetch_related('images')
     paginator = Paginator(houses, per_page=20)
     

2. 推荐计算耗时

   • 现象：高峰时段推荐延迟达5s+
   • 优化：
     • 预计算用户特征向量
     • 使用Redis缓存房源特征
     • 实现异步计算管道

3. 图片加载卡顿

   • 解决方案：
     • 使用WebP格式替代JPEG
     • 实现CDN加速
     • 懒加载技术

5. 部署与运维要点

5.1 容器化部署方案

使用Docker Compose编排服务：

yaml复制version: '3.8'

services:
  django:
    build: ./django_app
    ports:
      - "8000:8000"
    depends_on:
      - redis
      - postgres
  
  flask:
    build: ./flask_app
    ports:
      - "5000:5000"
    environment:
      - MONGO_URI=mongodb://mongo:27017
  
  postgres:
    image: postgres:13
    volumes:
      - pg_data:/var/lib/postgresql/data
  
  mongo:
    image: mongo:4.4
    volumes:
      - mongo_data:/data/db
  
  redis:
    image: redis:6
  
volumes:
  pg_data:
  mongo_data:

关键配置经验：

1. 为每个服务设置合理的资源限制

   yaml复制django:
     deploy:
       resources:
         limits:
           cpus: '1'
           memory: 1G
   

2. 日志收集方案

   python复制# Django日志配置示例
   LOGGING = {
       'handlers': {
           'file': {
               'class': 'logging.handlers.RotatingFileHandler',
               'filename': '/var/log/django/app.log',
               'maxBytes': 1024*1024*5,  # 5MB
               'backupCount': 5,
           },
       },
       'loggers': {
           'django': {
               'handlers': ['file'],
               'level': 'INFO',
           },
       },
   }
   

5.2 监控与告警配置

推荐使用Prometheus+Grafana监控以下指标：

1. Django服务：

   • 请求成功率（按路由分组）
   • 平均响应时间
   • 数据库连接池状态

2. Flask服务：

   • 爬虫成功率
   • 推荐计算耗时
   • 消息队列积压情况

3. 基础设施：

   • 容器内存/CPU使用率
   • 数据库查询性能
   • Redis命中率

告警规则示例：

yaml复制# prometheus/rules.yml
groups:
- name: django-alerts
  rules:
  - alert: HighErrorRate
    expr: sum(rate(django_http_requests_total{status=~"5.."}[5m])) by (path) / sum(rate(django_http_requests_total[5m])) by (path) > 0.05
    for: 10m
    labels:
      severity: critical
    annotations:
      summary: "High error rate on {{ $labels.path }}"

6. 踩坑经验与进阶建议

6.1 我遇到的五个典型问题

1. Django与Flask的静态文件冲突

   • 现象：Admin后台CSS加载异常
   • 解决：为Flask使用独立的static路径

   python复制# flask_app/app.py
   app = Flask(__name__, static_folder='flask_static')
   

2. 跨服务事务不一致

   • 案例：用户付款成功但合同状态未更新
   • 方案：实现Saga模式补偿事务

   python复制def create_order():
       try:
           # 步骤1：扣款
           payment_service.charge()
           
           # 步骤2：生成合同
           contract = ContractService.create()
           
           # 步骤3：更新房源状态
           HouseService.reserve()
       except Exception as e:
           # 逆向操作
           if 'contract' in locals():
               ContractService.revert(contract.id)
           raise e
   

3. 地理位置查询性能差

   • 优化：使用PostGIS扩展

   sql复制-- 创建空间索引
   CREATE INDEX idx_house_location ON house USING GIST(location);
   
   -- 附近房源查询
   SELECT * FROM house 
   WHERE ST_DWithin(
     location, 
     ST_MakePoint(121.47, 31.23)::geography, 
     1000  -- 1公里范围内
   );
   

6.2 给开发者的三条建议

1. 测试策略

   • Django部分：重点测试Model层和Form验证
   • Flask部分：Mock外部API测试爬虫
   • 集成测试：使用Postman+Newman自动化

2. 代码组织规范

   • 共享代码放在shared目录
   • 严格区分服务边界
   • API文档使用OpenAPI 3.0标准

3. 性能优化路线图

   mermaid复制graph TD
     A[基准测试] --> B[识别瓶颈]
     B --> C{类型}
     C -->|数据库| D[查询优化+索引]
     C -->|网络| E[CDN+压缩]
     C -->|计算| F[异步任务+缓存]
   

这套系统经过半年生产环境验证，目前日均处理：

• 200+条新房源信息
• 3000+次推荐请求
• 50+份电子合同签署

最让我自豪的是帮助客户将房源匹配效率提升了60%，人工管理时间减少了75%。如果让我重新设计，我会在以下方面改进：

1. 使用GraphQL替代部分REST API
2. 引入Elasticsearch提升搜索体验
3. 增加微信小程序端接入