1. 项目概述：当搜索遇上AI的化学反应
米柚AI搜索（MiYo.AI）是一款将传统搜索引擎与AI语义理解相结合的实时聚合工具。不同于简单调用API的常规方案，它通过多线程爬虫实时抓取主流平台数据，再经本地化NLP处理生成结构化摘要。去年我在开发一个跨平台内容监控系统时，发现现有方案要么响应延迟高，要么付费墙限制严重，最终促使我开发了这个能同时满足"实时性"和"智能化"需求的开源方案。
这个项目的核心价值在于：对普通用户提供"一句话获取全网精华"的搜索体验，对开发者则展示了如何用轻量级架构实现复杂AI功能。实测对比传统搜索方式，信息获取效率提升3倍以上，特别适合需要快速决策的场景。
2. 架构设计解析
2.1 智能聚合的核心逻辑
系统采用"采集-分析-呈现"三层架构：
- 采集层：基于Playwright的无头浏览器集群，可同时处理20+个数据源（包括知乎、B站、GitHub等），通过智能调度算法避免触发反爬机制
- 分析层：本地运行的MiniLM-L6-v2模型进行语义向量化，配合自研的摘要生成算法（关键参数：temperature=0.3, top_p=0.9）
- 呈现层：Vue3+Element Plus构建的交互界面，支持结果对比视图和知识图谱展示
重要提示：爬虫模块需配置合理的delay参数（建议500-1000ms），过高的频率可能导致IP被封禁
2.2 关键技术选型对比
| 技术点 | 候选方案 | 最终选择 | 选择理由 |
|---|---|---|---|
| 爬虫框架 | Scrapy/Playwright | Playwright | 更好的动态页面支持 |
| 向量模型 | BERT-base/MiniLM | MiniLM-L6-v2 | 体积小(80MB)且保持90%+准确率 |
| 前端框架 | React/Vue | Vue3 | 更小的包体积和更好的TS支持 |
| 结果存储 | MySQL/Redis | Redis+JSON文件 | 读写速度快，适合临时性搜索结果 |
3. 部署与配置实战
3.1 环境准备（以Ubuntu 22.04为例）
bash复制# 安装Python依赖
pip install -r requirements.txt # 包含playwright==1.32.0, sentence-transformers==2.2.2
# 初始化Playwright浏览器
python -m playwright install chromium
3.2 核心配置文件说明
修改config/config.yaml中的关键参数：
yaml复制crawler:
max_workers: 5 # 并发爬虫数量
request_timeout: 10 # 单次请求超时(秒)
proxy: "" # 建议使用住宅代理
ai:
model_path: "./models/minilm"
similarity_threshold: 0.75 # 结果去重阈值
3.3 性能优化技巧
通过实测发现三个关键优化点：
- 启用Redis缓存后，重复查询响应时间从1.2s降至0.3s
- 使用
uvicorn --workers 4启动时，QPS从15提升到42 - 对CSS/图片资源禁用加载可减少20%内存占用
4. 典型问题排查指南
4.1 爬虫被封锁现象
症状：返回空结果或403错误
解决方案：
- 检查
User-Agent是否设置为常见浏览器值 - 添加随机延迟：
await page.waitForTimeout(500 + Math.random()*500) - 建议使用付费代理服务（如Luminati）
4.2 摘要生成不准确
调试步骤：
- 检查
model/sample_input.txt测试输入输出 - 调整
temperature参数（0.1-0.5更保守） - 增加
max_length到128-256字符
5. 扩展开发建议
基于现有架构可以轻松实现：
- 垂直领域增强：通过微调模型适配医疗/法律等专业领域
- 个性化推荐：集成用户行为分析模块（需额外收集点击数据）
- 浏览器插件：通过Chrome Extension API改造为浏览器插件
我在实际部署中发现一个有趣现象：当同时查询"Python多线程"时，传统搜索返回的多是基础教程，而MiYo.AI会优先呈现GIL机制解析等深度内容。这验证了语义搜索在技术领域的独特优势。对于想要二次开发的同行，建议先从修改crawler/target_sites.py开始，逐步添加自己的目标站点。