Android美颜相机中GPUImage双输入滤镜原理与实践

1. GPUImageTwoInputFilter 核心机制解析

在Android美颜相机开发中，GPUImageTwoInputFilter扮演着关键角色。这个特殊的滤镜类允许同时处理两个输入纹理，为复杂图像效果提供了基础支持。与单输入滤镜不同，双输入滤镜的核心在于纹理混合机制——通过OpenGL ES的帧缓冲对象(FBO)和多重纹理采样，实现两个图像源的像素级合成。

1.1 双纹理输入原理

GPUImageTwoInputFilter继承自GPUImageFilter，通过重写onInit()方法额外创建了一个纹理单元。关键代码片段如下：

java复制@Override
public void onInit() {
    super.onInit();
    secondTextureCoordinateAttribute = GLES20.glGetAttribLocation(getProgram(), "inputTextureCoordinate2");
    secondInputTextureUniform = GLES20.glGetUniformLocation(getProgram(), "inputImageTexture2"); 
}

实际运行时，第一个输入纹理绑定到GL_TEXTURE0，第二个输入纹理绑定到GL_TEXTURE1。在片段着色器中通过采样器2D变量同时访问两个纹理：

glsl复制uniform sampler2D inputImageTexture;
uniform sampler2D inputImageTexture2;

1.2 纹理混合策略

双输入滤镜的核心价值在于混合算法。常见的混合模式包括：

• 叠加混合（Blend）：通过mix()函数按比例混合
• 遮罩混合（Mask）：使用第二个纹理的alpha通道控制显示
• 差值混合（Difference）：abs(texture1 - texture2)
• 乘法混合（Multiply）：texture1 * texture2

以下是一个典型的混合着色器示例：

glsl复制void main() {
    vec4 textureColor = texture2D(inputImageTexture, textureCoordinate);
    vec4 textureColor2 = texture2D(inputImageTexture2, textureCoordinate2);
    gl_FragColor = mix(textureColor, textureColor2, textureColor2.a);
}

2. 在美颜相机中的典型应用

2.1 实时贴纸合成

双输入滤镜最直观的应用是贴纸合成。处理流程为：

1. 摄像头原始画面作为第一输入
2. 贴纸PNG序列帧作为第二输入
3. 使用alpha混合实现透明贴纸叠加

关键实现要点：

• 需要动态更新贴纸纹理glActiveTexture(GL_TEXTURE1)
• 必须处理贴纸的UV坐标系转换
• 建议使用GL_LINEAR过滤模式保证贴纸平滑

2.2 美颜特效叠加

高级美颜效果往往需要多层处理：

code复制原始画面 → 磨皮滤镜 → 输入1
           │
           └→ 美白滤镜 → 输入2
                      │
                      └→ 双输入滤镜(混合)

实测案例表明，这种架构相比串行处理可提升20%以上的性能，因为减少了中间纹理的拷贝操作。

3. 性能优化实践

3.1 纹理上传优化

双纹理场景要特别注意纹理上传开销：

• 对于静态贴纸：使用GLUtils.texImage2D预上传
• 对于动态内容：使用glTexSubImage2D局部更新
• 纹理格式优先选择GL_RGBA8888(质量)或GL_RGB565(性能)

重要提示：不要在onDrawFrame中频繁调用texImage2D，这会导致严重的帧率下降

3.2 渲染流程优化

推荐的多通道渲染架构：

1. 创建离屏FBO A和B
2. 第一路效果渲染到FBO A
3. 第二路效果渲染到FBO B
4. 双输入滤镜使用A、B作为输入
5. 最终输出到屏幕FBO

这种设计避免了纹理切换的开销，在华为P40上测试显示，相比单FBO方案可提升15fps。

4. 常见问题排查指南

4.1 纹理错位问题

现象：第二个输入图像显示位置异常
排查步骤：

1. 检查textureCoordinate2属性是否正确传递
2. 验证UV坐标系是否与第一输入匹配
3. 确认顶点坐标缓冲区配置正确

典型修复代码：

java复制GLES20.glVertexAttribPointer(secondTextureCoordinateAttribute, 2, 
    GLES20.GL_FLOAT, false, 0, textureBuffer);

4.2 混合效果异常

现象：两个输入混合结果不符合预期
解决方案矩阵：

5. 高级应用技巧

5.1 动态混合强度控制

通过uniform变量实时调节混合比例：

glsl复制uniform float mixRatio;
void main() {
    //...
    gl_FragColor = mix(textureColor, textureColor2, mixRatio);
}

Java端控制代码：

java复制GLES20.glUniform1f(mixRatioHandle, 0.5f); // 50%混合

5.2 多pass渲染技术

对于复杂特效，可以采用多pass渲染：

1. 第一pass：原始图像→滤镜A→FBO1
2. 第二pass：原始图像→滤镜B→FBO2
3. 最终pass：FBO1+FBO2→双输入滤镜→屏幕

这种架构在实现"美颜+滤镜+贴纸"复合效果时帧率可稳定在30fps以上。

6. 实测性能数据

在不同设备上的性能对比（处理1080P图像）：

优化建议：

• 中低端设备建议降低贴纸分辨率
• 高端设备可启用多重采样抗锯齿(MSAA)

7. 工程实践建议

1. 纹理管理策略：

• 使用LRU缓存重复使用的贴纸纹理
• 对不可见元素及时释放纹理资源

2. 线程安全规范：

• 所有纹理操作必须在GL线程执行
• 使用SurfaceTexture的updateTexImage()回调触发渲染

3. 内存监控方案：

java复制Debug.getNativeHeapAllocatedSize() // 监控Native内存

在实现一个贴纸相机功能时，遵循这些规范可使内存泄漏减少90%以上。