微信小程序在线考试选课系统与AWS Glue ETL实践

1. 微信小程序在线考试选课系统架构设计

在线考试选课系统作为教育信息化的典型应用场景，其小程序端的实现需要考虑移动端特性与传统Web应用的差异。我们采用前后端分离架构，前端基于微信小程序原生框架，后端采用Spring Boot微服务，数据层使用AWS云数据库服务。

1.1 核心功能模块划分

系统主要包含三大核心模块：

1. 用户认证模块：采用微信开放平台OAuth2.0协议实现一键登录，通过wx.login获取code后与后端交互换取session_key。特别注意需要处理<button open-type="getUserInfo">的授权流程变更，适配最新微信API规范。

2. 考试业务模块：

   • 试卷采用JSON Schema定义题目结构
   • 实时保存答题进度到IndexedDB
   • 防作弊措施包括：随机题目顺序、切屏检测（监听onHide事件）、人脸识别抽查

3. 选课管理模块：

   • 基于WebSocket实现课程余量实时推送
   • 冲突检测算法采用时间片轮转比对
   • 选课结果通过微信服务通知模板消息推送

1.2 微信小程序特有技术适配

在开发过程中需要特别注意微信环境的适配问题：

javascript复制// 判断运行环境示例
function isWechatMiniProgram() {
  return typeof wx !== 'undefined' && 
    typeof wx.getSystemInfoSync === 'function'
}

// 处理导航栏高度适配
const systemInfo = wx.getSystemInfoSync()
const navBarHeight = systemInfo.statusBarHeight + 46

针对常见的样式问题：

• 使用rpx单位实现响应式布局
• 避免使用fixed定位导致的键盘弹起遮挡输入框
• 自定义导航栏需同步设置"navigationStyle": "custom"

2. AWS Glue ETL数据管道搭建

2.1 数据源配置与连接

考试系统产生的原始数据主要包括：

• 用户行为日志（JSON格式）
• 答题记录（Parquet列式存储）
• 课程资源元数据（MySQL关系型）

在AWS Glue中配置数据源需要特别注意：

1. 为MySQL数据源创建JDBC连接时，需在安全组放通Glue执行角色的IP段
2. JSON数据源建议先通过Glue爬虫自动推断Schema
3. 启用Glue作业书签功能实现增量处理

2.2 ETL作业开发最佳实践

使用Glue PySpark进行数据清洗的典型流程：

python复制# 示例：处理答题记录数据
from pyspark.context import SparkContext
from awsglue.context import GlueContext

sc = SparkContext()
glueContext = GlueContext(sc)

# 读取源数据
datasource = glueContext.create_dynamic_frame.from_catalog(
    database="exam_db",
    table_name="raw_answers"
)

# 数据转换
def transform(rec):
    # 计算答题耗时（秒）
    rec["duration"] = (rec["submit_time"] - rec["start_time"]).seconds
    # 标准化选项格式
    rec["answers"] = [x.upper() for x in rec["answers"]]
    return rec

transformed = Map.apply(frame=datasource, f=transform)

# 写入Redshift
glueContext.write_dynamic_frame.from_jdbc_conf(
    frame=transformed,
    catalog_connection="redshift_conn",
    connection_options={
        "dbtable": "proc_answers",
        "database": "exam_warehouse"
    }
)

关键优化点：

• 使用Glue弹性视图减少DPU消耗
• 对频繁访问的列启用ZSTD压缩
• 分区键选择高基数字段（如user_id）

3. 企业级部署与监控方案

3.1 安全合规配置

1. 数据加密：

   • 静态数据使用AWS KMS托管密钥加密
   • 传输层启用SSL/TLS 1.2+
   • 敏感字段如身份证号采用AES-GCM算法加密

2. 访问控制：

   • 微信小程序API配置IP白名单
   • Glue作业使用最小权限IAM角色
   • Redshift启用行级安全策略

3.2 性能监控体系搭建

建议的监控指标矩阵：

异常处理流程：

1. 通过SNS触发Lambda进行自动重试
2. 失败作业记录到DynamoDB待人工核查
3. 关键业务中断时启动备用区域切换

4. 实战经验与避坑指南

4.1 微信小程序常见问题排查

授权失败场景：

1. 检查wx.login返回的code是否有效（5分钟有效期）
2. 确认服务器session_key存储未过期（建议30分钟TTL）
3. 检查微信开放平台账号是否绑定正确的小程序appid

图片上传OSS最佳实践：

javascript复制// 前端上传示例
wx.chooseImage({
  success(res) {
    const tempFilePaths = res.tempFilePaths
    wx.uploadFile({
      url: 'https://your-oss-endpoint',
      filePath: tempFilePaths[0],
      name: 'file',
      formData: {
        'key': `uploads/${Date.now()}.jpg`,
        'policy': '...', // 后端生成的临时凭证
        'OSSAccessKeyId': '...'
      }
    })
  }
})

4.2 AWS Glue优化技巧

1. DPU配置原则：

   • 简单作业：2-5个DPU
   • 中等复杂度：10-20个DPU
   • 大型作业：50+ DPU（需提前申请配额）

2. 性能调优手段：

   • 设置glue.executor.allocator为dynamic实现自动扩缩容
   • 对于宽表操作，增加glue.executor.heap.memory配置
   • 启用glue.enable.continuous.cloudwatch.log获取详细日志

3. 成本控制建议：

   • 使用Glue DataBrew进行探索性分析后再开发完整作业
   • 冷数据归档到S3 Glacier降低存储成本
   • 采用Spot Instance运行非关键作业

在最近的一个教育客户项目中，通过将Glue作业从通用型(G.1X)切换到内存优化型(M.2X)，配合spark.sql.shuffle.partitions参数调整，使ETL耗时从47分钟降至12分钟，月度成本降低38%。关键是要根据数据特征选择合适的Worker类型和并行度。