通达OA集成PhpSpreadsheet实现Excel数据高效处理

1. 项目背景与需求分析

在通达OA v13办公系统环境中，经常需要处理Excel文件的数据交互需求。作为一款广泛使用的企业级协同办公平台，通达OA系统本身提供了基础的文件管理功能，但在实际业务场景中，往往需要深度集成Excel数据的读取和处理能力。

我最近在实施一个HR考勤统计项目时，就遇到了这样的需求：需要将各部门提交的Excel格式的考勤表自动读取并汇总到OA系统中。这个需求看似简单，但在通达OA的特殊环境下却存在几个技术难点：

1. 服务器环境限制：通达OA默认使用PHP 5.6环境，而现代Excel处理库通常需要更高版本的PHP支持
2. 文件编码问题：用户上传的Excel文件可能来自不同版本的Office软件（2003-2019）
3. 内存限制：大型Excel文件处理时容易触发内存溢出
4. 权限控制：需要确保只有授权用户才能执行导入操作

2. 技术方案选型

2.1 PHP Excel处理库对比

在PHP生态中，主流的Excel处理方案有以下几种：

考虑到通达OA v13的环境特点，我最终选择了PhpSpreadsheet方案，原因如下：

1. 虽然系统默认PHP版本较低，但可以通过自定义环境升级到PHP 7.2+
2. 提供了对xls和xlsx格式的完整支持
3. 活跃的开发者社区和持续更新
4. 丰富的文档和示例代码

2.2 环境适配方案

由于通达OA默认环境限制，我们需要进行以下环境适配：

1. PHP版本升级：

bash复制# 在CentOS环境下升级PHP
yum remove php-*
yum install epel-release
rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpm
yum install php72w php72w-cli php72w-common php72w-mbstring php72w-xml

2. 安装PhpSpreadsheet：

bash复制cd /path/to/tongda/oa/webroot/lib
composer require phpoffice/phpspreadsheet

3. 内存限制调整：

php复制// 在导入脚本开头添加
ini_set('memory_limit', '512M');
set_time_limit(0);

3. 核心实现代码解析

3.1 基础Excel读取功能

以下是经过实战验证的基础读取代码模板：

php复制require_once '/path/to/tongda/oa/webroot/lib/vendor/autoload.php';

use PhpOffice\PhpSpreadsheet\IOFactory;

function readExcelFile($filePath) {
    try {
        // 识别文件类型并创建reader
        $spreadsheet = IOFactory::load($filePath);
        
        // 获取第一个工作表
        $worksheet = $spreadsheet->getActiveSheet();
        
        // 获取最高行和列
        $highestRow = $worksheet->getHighestRow();
        $highestColumn = $worksheet->getHighestColumn();
        
        $data = [];
        
        // 逐行读取数据
        for ($row = 1; $row <= $highestRow; $row++) {
            $rowData = [];
            for ($col = 'A'; $col <= $highestColumn; $col++) {
                $cellValue = $worksheet->getCell($col.$row)->getValue();
                // 处理特殊格式（日期、公式等）
                if (PhpOffice\PhpSpreadsheet\Shared\Date::isDateTime($worksheet->getCell($col.$row))) {
                    $cellValue = \PhpOffice\PhpSpreadsheet\Shared\Date::excelToTimestamp($cellValue);
                    $cellValue = date('Y-m-d H:i:s', $cellValue);
                }
                $rowData[] = $cellValue;
            }
            $data[] = $rowData;
        }
        
        return $data;
    } catch (Exception $e) {
        // 通达OA日志记录
        TD_LOG::write_log('Excel导入', '读取失败: '.$e->getMessage(), 0);
        return false;
    }
}

3.2 通达OA集成方案

将上述功能集成到通达OA系统中，需要特别注意权限控制和文件上传处理：

php复制// 在通达OA的模块中添加以下代码
$ATTACH_PATH = TD_ROOT.'/attachment/'; // 通达OA附件目录

// 检查用户权限
if (!get_permission("IMPORT_EXCEL")) {
    echo json_encode(['status'=>0, 'msg'=>'无操作权限']);
    exit;
}

// 处理上传文件
$file = $_FILES['excel_file'];
if ($file['error'] > 0) {
    echo json_encode(['status'=>0, 'msg'=>'上传失败']);
    exit;
}

// 移动到附件目录
$ext = pathinfo($file['name'], PATHINFO_EXTENSION);
if (!in_array(strtolower($ext), ['xls', 'xlsx'])) {
    echo json_encode(['status'=>0, 'msg'=>'仅支持Excel文件']);
    exit;
}

$saveName = 'import_'.date('YmdHis').'.'.$ext;
$savePath = $ATTACH_PATH.$saveName;
if (!move_uploaded_file($file['tmp_name'], $savePath)) {
    echo json_encode(['status'=>0, 'msg'=>'保存文件失败']);
    exit;
}

// 读取Excel内容
$excelData = readExcelFile($savePath);
if (!$excelData) {
    echo json_encode(['status'=>0, 'msg'=>'解析Excel失败']);
    exit;
}

// 处理业务逻辑（示例：考勤数据入库）
$result = processAttendanceData($excelData);

if ($result) {
    echo json_encode(['status'=>1, 'msg'=>'导入成功']);
} else {
    echo json_encode(['status'=>0, 'msg'=>'数据处理失败']);
}

4. 性能优化与实战技巧

4.1 大文件处理方案

当处理超过10MB的Excel文件时，需要采用特殊优化策略：

1. 分块读取技术：

php复制$reader = new \PhpOffice\PhpSpreadsheet\Reader\Xlsx();
$reader->setReadDataOnly(true);
$reader->setReadFilter(new ChunkReadFilter());
$spreadsheet = $reader->load($filePath);

class ChunkReadFilter implements \PhpOffice\PhpSpreadsheet\Reader\IReadFilter {
    private $startRow = 0;
    private $endRow = 0;
    
    public function setRows($startRow, $chunkSize) {
        $this->startRow = $startRow;
        $this->endRow = $startRow + $chunkSize;
    }
    
    public function readCell($column, $row, $worksheetName = '') {
        if ($row >= $this->startRow && $row <= $this->endRow) {
            return true;
        }
        return false;
    }
}

2. 内存缓存优化：

php复制// 在php.ini中调整
memory_limit = 1024M
opcache.enable = 1
opcache.memory_consumption = 256

4.2 常见问题解决方案

1. 中文乱码问题：

php复制// 在读取前检测并转换编码
function convertToUTF8($str) {
    $encoding = mb_detect_encoding($str, mb_list_encodings(), true);
    if ($encoding != 'UTF-8') {
        $str = mb_convert_encoding($str, 'UTF-8', $encoding);
    }
    return $str;
}

2. 日期格式处理：

php复制// 处理各种Excel日期格式
function formatExcelDate($excelDate) {
    if (is_numeric($excelDate)) {
        $unixDate = ($excelDate - 25569) * 86400;
        return gmdate("Y-m-d", $unixDate);
    }
    return $excelDate;
}

3. 公式计算结果获取：

php复制$cellValue = $worksheet->getCell($col.$row)->getCalculatedValue();

5. 安全防护措施

在OA系统中处理Excel文件需要特别注意安全防护：

1. 文件类型校验：

php复制$finfo = finfo_open(FILEINFO_MIME_TYPE);
$mime = finfo_file($finfo, $file['tmp_name']);
finfo_close($finfo);

$allowedMimes = [
    'application/vnd.ms-excel',
    'application/vnd.openxmlformats-officedocument.spreadsheetml.sheet'
];

if (!in_array($mime, $allowedMimes)) {
    // 可能是伪装成Excel的恶意文件
    unlink($file['tmp_name']);
    die('非法文件类型');
}

2. XXE攻击防护：

php复制$reader = \PhpOffice\PhpSpreadsheet\IOFactory::createReader('Xlsx');
$reader->setReadDataOnly(true);
$reader->setLoadSheetsOnly(['Sheet1']); // 只加载指定工作表
$spreadsheet = $reader->load($filePath);

3. 病毒扫描集成：

bash复制# 使用clamav进行病毒扫描
yum install clamav clamav-update
freshclam
clamscan -r -i /path/to/uploaded/files

6. 实际应用案例

6.1 考勤统计系统实现

以下是完整的考勤统计导入流程：

1. 前端页面（集成通达OA风格）：

html复制<form action="import.php" method="post" enctype="multipart/form-data" class="tongda-form">
    <div class="form-group">
        <label>选择考勤文件：</label>
        <input type="file" name="excel_file" accept=".xls,.xlsx" class="form-control">
    </div>
    <div class="form-group">
        <label>统计月份：</label>
        <input type="month" name="month" class="form-control">
    </div>
    <button type="submit" class="btn btn-primary">提交导入</button>
</form>

2. 后端处理逻辑增强：

php复制function processAttendanceData($excelData, $month) {
    global $db; // 通达OA数据库连接
    
    // 验证数据格式
    if (count($excelData) < 2 || empty($excelData[0])) {
        return false;
    }
    
    $header = array_shift($excelData);
    $requiredFields = ['工号', '姓名', '日期', '上班时间', '下班时间'];
    foreach ($requiredFields as $field) {
        if (!in_array($field, $header)) {
            TD_LOG::write_log('考勤导入', '缺少必要字段: '.$field, 0);
            return false;
        }
    }
    
    // 开始事务
    $db->beginTransaction();
    
    try {
        foreach ($excelData as $row) {
            $data = array_combine($header, $row);
            
            // 数据校验
            if (empty($data['工号']) || !is_numeric($data['工号'])) {
                continue;
            }
            
            // 插入考勤记录
            $sql = "INSERT INTO TD_ATTENDANCE 
                    (user_id, check_date, check_in, check_out, month) 
                    VALUES (?, ?, ?, ?, ?)
                    ON DUPLICATE KEY UPDATE 
                    check_in = VALUES(check_in), 
                    check_out = VALUES(check_out)";
                    
            $stmt = $db->prepare($sql);
            $stmt->execute([
                $data['工号'],
                $data['日期'],
                $data['上班时间'],
                $data['下班时间'],
                $month
            ]);
        }
        
        $db->commit();
        return true;
    } catch (PDOException $e) {
        $db->rollBack();
        TD_LOG::write_log('考勤导入', '数据库错误: '.$e->getMessage(), 0);
        return false;
    }
}

6.2 数据验证增强

在实际项目中，我们需要添加更严格的数据验证：

php复制function validateAttendanceRow($data) {
    // 工号验证
    if (!preg_match('/^[A-Za-z0-9]{6,10}$/', $data['工号'])) {
        return '工号格式不正确';
    }
    
    // 日期验证
    if (!DateTime::createFromFormat('Y-m-d', $data['日期'])) {
        return '日期格式不正确';
    }
    
    // 时间验证
    if (!empty($data['上班时间']) && !preg_match('/^([01]?[0-9]|2[0-3]):[0-5][0-9]$/', $data['上班时间'])) {
        return '上班时间格式不正确';
    }
    
    // 逻辑验证：下班时间不能早于上班时间
    if (!empty($data['上班时间']) && !empty($data['下班时间'])) {
        $start = strtotime($data['上班时间']);
        $end = strtotime($data['下班时间']);
        if ($end < $start) {
            return '下班时间不能早于上班时间';
        }
    }
    
    return true;
}

7. 扩展功能实现

7.1 模板下载与校验

为提高数据规范性，可以提供标准模板下载和校验：

php复制// 模板下载
function downloadTemplate() {
    $spreadsheet = new \PhpOffice\PhpSpreadsheet\Spreadsheet();
    $sheet = $spreadsheet->getActiveSheet();
    
    // 设置标题行
    $headers = ['工号', '姓名', '日期', '上班时间', '下班时间', '备注'];
    $sheet->fromArray($headers, null, 'A1');
    
    // 设置数据验证（下拉菜单示例）
    $validation = $sheet->getCell('B2')->getDataValidation();
    $validation->setType(\PhpOffice\PhpSpreadsheet\Cell\DataValidation::TYPE_LIST);
    $validation->setFormula1('"张三,李四,王五"');
    
    // 输出文件
    header('Content-Type: application/vnd.openxmlformats-officedocument.spreadsheetml.sheet');
    header('Content-Disposition: attachment;filename="考勤模板.xlsx"');
    $writer = \PhpOffice\PhpSpreadsheet\IOFactory::createWriter($spreadsheet, 'Xlsx');
    $writer->save('php://output');
    exit;
}

// 模板校验
function validateTemplate($filePath) {
    $spreadsheet = \PhpOffice\PhpSpreadsheet\IOFactory::load($filePath);
    $sheet = $spreadsheet->getActiveSheet();
    
    $headerRow = $sheet->rangeToArray('A1:Z1')[0];
    $requiredHeaders = ['工号', '姓名', '日期', '上班时间'];
    
    foreach ($requiredHeaders as $header) {
        if (!in_array($header, $headerRow)) {
            return "模板缺少必要列: $header";
        }
    }
    
    return true;
}

7.2 数据导出为Excel

反向操作：将OA系统中的数据导出为Excel：

php复制function exportToExcel($data, $fileName = 'export.xlsx') {
    $spreadsheet = new \PhpOffice\PhpSpreadsheet\Spreadsheet();
    $sheet = $spreadsheet->getActiveSheet();
    
    // 设置标题行
    $headers = array_keys($data[0]);
    $sheet->fromArray($headers, null, 'A1');
    
    // 填充数据
    $rowIndex = 2;
    foreach ($data as $row) {
        $sheet->fromArray(array_values($row), null, "A{$rowIndex}");
        $rowIndex++;
    }
    
    // 自动调整列宽
    foreach (range('A', $sheet->getHighestColumn()) as $col) {
        $sheet->getColumnDimension($col)->setAutoSize(true);
    }
    
    // 设置HTTP头
    header('Content-Type: application/vnd.openxmlformats-officedocument.spreadsheetml.sheet');
    header('Content-Disposition: attachment;filename="'.urlencode($fileName).'"');
    header('Cache-Control: max-age=0');
    
    // 输出文件
    $writer = \PhpOffice\PhpSpreadsheet\IOFactory::createWriter($spreadsheet, 'Xlsx');
    $writer->save('php://output');
    exit;
}

8. 系统集成最佳实践

在通达OA中深度集成Excel功能时，建议采用以下架构：

1. 目录结构规划：

code复制/webroot/
    ├── lib/
    │   └── vendor/          # Composer依赖
    ├── module/
    │   └── excel/
    │       ├── import.php   # 导入处理
    │       ├── export.php   # 导出处理
    │       └── template/    # 模板文件
    └── attachment/
        └── excel_import/    # 上传文件存储

2. 权限控制方案：

php复制// 在通达OA的inc/permission.php中添加
$PERMISSION['excel_import'] = [
    'name' => 'Excel数据导入',
    'description' => '允许导入Excel格式的数据',
    'roles' => ['HR', 'Admin'] // 允许的角色
];

// 检查权限的函数
function checkExcelPermission() {
    global $PERMISSION, $LOGIN_USER_ID;
    
    if (!isset($_SESSION['user_id'])) {
        header('Location: /login.php');
        exit;
    }
    
    $userRoles = getUserRoles($LOGIN_USER_ID);
    $allowed = false;
    
    foreach ($userRoles as $role) {
        if (in_array($role, $PERMISSION['excel_import']['roles'])) {
            $allowed = true;
            break;
        }
    }
    
    if (!$allowed) {
        echo json_encode(['status'=>0, 'msg'=>'无操作权限']);
        exit;
    }
}

3. 性能监控实现：

php复制// 在关键操作中添加性能日志
$startTime = microtime(true);
// ...执行导入操作...
$endTime = microtime(true);

$logData = [
    'user_id' => $_SESSION['user_id'],
    'file_name' => $file['name'],
    'file_size' => $file['size'],
    'row_count' => count($excelData),
    'execute_time' => round($endTime - $startTime, 3),
    'memory_usage' => memory_get_peak_usage(true) / 1024 / 1024
];

TD_LOG::write_log('Excel性能', json_encode($logData), 1);

9. 疑难问题解决方案

9.1 特殊字符处理

处理Excel中的特殊字符和富文本：

php复制function cleanExcelValue($value) {
    // 处理换行符
    $value = str_replace(["\r\n", "\r", "\n"], '<br>', $value);
    
    // 去除不可见字符
    $value = preg_replace('/[\x00-\x1F\x7F]/u', '', $value);
    
    // 处理HTML实体
    $value = htmlspecialchars_decode($value, ENT_QUOTES);
    
    // 去除前后空格
    $value = trim($value);
    
    return $value;
}

9.2 合并单元格处理

正确处理合并单元格的数据：

php复制function getMergedCellValue($sheet, $cellAddress) {
    foreach ($sheet->getMergeCells() as $mergedCells) {
        if ($sheet->getCell($cellAddress)->isInRange($mergedCells)) {
            $mergedCellsArr = \PhpOffice\PhpSpreadsheet\Cell\Coordinate::splitRange($mergedCells);
            $firstCell = $mergedCellsArr[0][0];
            return $sheet->getCell($firstCell)->getValue();
        }
    }
    return $sheet->getCell($cellAddress)->getValue();
}

9.3 大数据量分页导出

当需要导出大量数据时，应采用分页机制：

php复制function exportLargeData($query, $pageSize = 5000, $callback = null) {
    $page = 1;
    $spreadsheet = new \PhpOffice\PhpSpreadsheet\Spreadsheet();
    $sheet = $spreadsheet->getActiveSheet();
    
    // 设置标题行
    $headers = ['ID', 'Name', 'Date', 'Amount'];
    $sheet->fromArray($headers, null, 'A1');
    
    do {
        $data = $query->paginate($page, $pageSize);
        
        if (empty($data)) {
            break;
        }
        
        $rowIndex = ($page - 1) * $pageSize + 2;
        foreach ($data as $item) {
            $rowData = [
                $item['id'],
                $item['name'],
                $item['date'],
                $item['amount']
            ];
            
            $sheet->fromArray($rowData, null, "A{$rowIndex}");
            $rowIndex++;
        }
        
        if (is_callable($callback)) {
            $callback($page, $sheet);
        }
        
        $page++;
    } while (count($data) == $pageSize);
    
    return $spreadsheet;
}

10. 维护与升级建议

1. 版本兼容性处理：

php复制// 检测PhpSpreadsheet版本
$version = \PhpOffice\PhpSpreadsheet\Settings::getVersion();
if (version_compare($version, '1.10.0', '<')) {
    // 旧版本兼容代码
    $reader = \PhpOffice\PhpSpreadsheet\IOFactory::createReaderForFile($filePath);
} else {
    // 新版本代码
    $reader = IOFactory::createReaderForFile($filePath);
}

2. 依赖管理策略：

bash复制# 在composer.json中固定主要版本
{
    "require": {
        "phpoffice/phpspreadsheet": "^1.18"
    },
    "config": {
        "platform-check": false
    }
}

3. 自动化测试方案：

php复制class ExcelImportTest extends \PHPUnit\Framework\TestCase {
    public function testReadExcel() {
        $testFile = __DIR__.'/testdata/test.xlsx';
        $data = readExcelFile($testFile);
        $this->assertNotEmpty($data);
        $this->assertCount(10, $data);
    }
    
    public function testDataValidation() {
        $testData = [
            ['工号' => 'A1001', '姓名' => '张三', '日期' => '2023-01-01'],
            ['工号' => 'A1002', '姓名' => '李四', '日期' => '2023-01-02']
        ];
        $result = validateAttendanceData($testData);
        $this->assertTrue($result);
    }
}

4. 监控与报警机制：

php复制// 在crontab中添加定时任务检查
0 2 * * * /usr/bin/php /path/to/tongda/oa/webroot/module/excel/monitor.php

// monitor.php内容
$lastImport = filemtime('/path/to/last_import.log');
if (time() - $lastImport > 86400) {
    $mail = new TD_MAIL();
    $mail->send(
        'admin@company.com',
        'Excel导入监控报警',
        '超过24小时未检测到Excel导入活动'
    );
}