1. 项目背景与核心价值
在移动应用测试领域，自动化测试已经成为提升效率的关键手段。其中，通过ADB（Android Debug Bridge）实现远程设备控制和屏幕文本获取，是许多测试工程师日常工作中不可或缺的技能。这个方案特别适合需要批量执行UI测试、兼容性测试或长时间稳定性测试的场景。
我曾在多个大型APP测试项目中采用这种方案，相比传统基于坐标的点击操作，通过识别屏幕文本内容来触发操作，能够显著提升测试脚本的稳定性和可维护性。当APP界面元素位置发生变化时，基于文本识别的测试用例往往不需要修改就能继续运行。
2. 技术方案选型解析
2.1 为什么选择ADB方案
ADB作为Android官方提供的调试工具，具有以下不可替代的优势：
- 系统级支持：无需在测试设备安装额外agent
- 协议稳定：兼容Android 4.0+所有版本
- 功能全面：支持屏幕截图、文本获取、输入模拟等完整测试需求
- 性能可靠：经实测可稳定运行12小时以上不中断
对比其他方案：
- 基于UI Automator的方案需要打包测试代码到设备
- Appium等框架存在协议转换开销
- 纯图像识别方案准确率受屏幕分辨率影响大
2.2 核心工具链配置
基础环境需求：
bash复制# 基础工具安装
sudo apt install android-tools-adb
# 开发者选项开启
adb shell settings put global development_settings_enabled 1
推荐使用Python封装操作：
python复制import subprocess
import xml.etree.ElementTree as ET
class ADBController:
def __init__(self, device_id=None):
self.device = f"-s {device_id}" if device_id else ""
3. 屏幕文本获取技术实现
3.1 UI层次结构解析技术
通过ADB获取当前Activity的UI层次结构：
bash复制adb shell uiautomator dump /sdcard/window.xml
adb pull /sdcard/window.xml
解析示例：
xml复制<node index="0" text="登录" resource-id="com.example:id/login" class="android.widget.Button"/>
3.2 文本提取与清洗技巧
实际项目中需要处理的特殊情况：
- 动态生成的内容（如验证码）
- 多语言环境下的文本匹配
- 富文本混排情况
处理方案：
python复制def clean_text(raw):
# 去除不可见字符
return raw.replace('\u200b','').strip()
4. 内容输入实现方案
4.1 基础输入方法
文本输入三种实现方式对比：
| 方法 | 命令示例 | 适用场景 | 限制 |
|---|---|---|---|
| 直接输入 | adb shell input text "hello" |
普通文本 | 不支持中文 |
| 键盘事件 | adb shell input keyevent 66 |
功能键操作 | 依赖键位码 |
| 粘贴板 | adb shell am broadcast -a clipper.set -e text "内容" |
复杂内容 | 需要APP支持 |
4.2 中文输入解决方案
经过多次实践验证的可靠方案：
- 使用ADB切换输入法到PC端控制
bash复制adb shell ime set com.android.adbkeyboard/.AdbInputMethod
- 通过base64编码传输内容
python复制import base64
text = "中文内容".encode('utf-8')
adb_cmd = f"am broadcast -a ADB_INPUT_B64 --es msg {base64.b64encode(text).decode()}"
5. 完整工作流实现
5.1 自动化测试典型流程
mermaid复制graph TD
A[启动被测APP] --> B[获取当前UI文本]
B --> C{判断目标元素}
C -->|存在| D[执行操作]
C -->|不存在| E[异常处理]
D --> F[验证结果]
5.2 关键代码实现
文本查找与操作示例：
python复制def find_and_click(text):
dump_ui()
tree = ET.parse('window.xml')
for elem in tree.iterfind('.//node'):
if elem.get('text') == text:
bounds = elem.get('bounds')
x, y = parse_coordinates(bounds)
subprocess.run(f"adb shell input tap {x} {y}", shell=True)
return True
return False
6. 实战经验与优化建议
6.1 性能优化方案
经过多个项目验证的有效优化手段：
- 截图压缩传输
bash复制adb exec-out screencap -p | gzip > screen.png.gz
- 使用Wi-Fi连接替代USB
bash复制adb tcpip 5555
adb connect 192.168.1.100:5555
- 批处理命令减少adb调用次数
6.2 常见问题排查
高频问题解决方案速查表：
| 现象 | 可能原因 | 解决方案 |
|---|---|---|
| 无法获取UI层次 | 未开启辅助功能 | adb shell settings put secure enabled_accessibility_services 1 |
| 中文显示乱码 | 编码格式不匹配 | 统一使用UTF-8编码 |
| 点击位置偏移 | 屏幕分辨率差异 | 动态计算缩放比例 |
7. 扩展应用场景
这种技术方案还可应用于：
- 自动化数据采集（如价格监控）
- 无障碍辅助工具开发
- 批量设备管理
- 远程教学演示
在实际电商APP测试中，我们曾用这套方案实现了：
- 自动比价功能测试
- 购物车批量操作
- 多语言界面验证
8. 安全与稳定性保障
必须注意的关键点：
- 生产环境慎用ADB调试
- 定期检查设备连接状态
- 实现操作失败自动重试机制
- 添加操作间隔防止过快触发
推荐的重试机制实现：
python复制def safe_operation(func, max_retry=3):
for i in range(max_retry):
try:
return func()
except Exception as e:
if i == max_retry -1:
raise
time.sleep(2**i)
9. 工具链推荐
经过实战检验的工具组合：
- scrcpy：实时屏幕镜像
- AndroidViewClient：增强型UI分析
- Pillow：图像处理辅助
- PyADB：Python封装库
配置示例：
python复制from ppadb.client import Client as AdbClient
client = AdbClient(host="127.0.0.1", port=5037)
device = client.devices()[0]
screenshot = device.screencap()
10. 未来改进方向
基于现有方案的扩展思路：
- 结合OCR技术处理非标准控件
- 引入机器学习预测操作路径
- 开发可视化录制回放工具
- 构建分布式测试集群
在最近的项目中，我们通过集成Tesseract OCR，成功将验证码识别率提升到了92%：
python复制import pytesseract
from PIL import Image
def ocr_text(img):
return pytesseract.image_to_string(
Image.open(img),
lang='chi_sim+eng'
)