上市公司人工智能引入数据：年报文本面板的构建与实证边界

提到“上市公司人工智能引入数据”，最容易踩的误区就是把它想成“年报里出现过‘人工智能’这个词没有”。按这个逻辑做出来的面板，放在2000到2024年的A股环境里，基本没法看：早期年报大多是扫描PDF，机器根本检索不了；中期开始大量出现“智能制造”“数据中台”“智慧工厂”等同一语义不同写法；到2022年之后，又是“大模型”“AIGC”“具身智能”轮番上场。如果你手里只有两三个固定关键词，25年的纵向比较就是一笔糊涂账。

我整理这份数据集的初衷，是想在公司和年度两个维度上回答一个很朴素的问题：从2000年到2024年，上市公司的“AI引入”到底经历了什么样的扩散过程？哪些行业真实发生过技术落地，哪些公司只是把AI写进了战略口号里。为了解答这个问题，我花了大量时间处理年报文本、招聘文本、专利分类信息，最后把它们拼成了一份可重复计算的“公司-年度”面板数据。

这份数据适合给两类人用：一类是做实证研究的经管类学者，需要企业层面的AI采用指标去做技术创新、劳动雇佣、公司治理等方向的回归；另一类是产业分析和量化选股的研究员，需要把一个抽象的“科技概念”细化到可比较的年度频率上。如果你只是想找一个现成的当年“是否布局AI”标签，这份数据也能直接用，但我更希望你清楚它背后的测量逻辑，因为所有的边界和坑，都藏在这套逻辑里。

以下我把从数据准备、变量构造到质量复核的整个过程拆开讲，这部分经验比最终结果本身更有价值。

1. 为什么需要一份“公司层面AI引入”面板数据

1.1 财务数据库里现成的“AI字段”为什么不够用

市面上常见的商业数据库，过去几年陆续增加了一些“人工智能”相关字段，但绝大多数来自两个渠道：一是按关键词扫描公司公告，二是从专利数据库里抓AI分类号。这两类数据各有明显局限。公告扫描只解决“公司有没有提过AI”，不解决“说的是业务还是口号”；专利分类号只解决“有没有申请AI技术专利”，不解决“这项技术是否进入生产运营环节”。

更关键的是，数据库字段覆盖的年份往往不稳定。早期年份没有关键词记录，近三年的口径又经常因为ChatGPT热潮被供应商重新调整。如果你在拼接不同版本时偷懒，就会出现同一条公司记录在不同的更新时间窗口里数值差了几倍的怪事。

所以我当时做了一个决定：不直接依赖任何“AI标签”，而是回到原始披露文件，用一套可复现的规则自己测。

1.2 数据集能提供什么颗粒度的信息

这份数据集的底层结构并不复杂，是一个以股票代码加会计年度为主键的平衡面板。你可以把它理解成一张大宽表：左边是公司的基础特征，包括行业、产权性质、总资产、营收、员工人数；中间是每年年报里与人工智能相关的原始词频和标准化词频；右边是辅助识别变量，包括AI关键词覆盖广度、管理层讨论与分析文本中出现的概率、招聘岗位中与AI相关的岗位数量等。

2000年是起点，主要原因是早年上市公司年报的数字化程度太低，再往前的样本即使勉强找到转录文本，也基本都是零命中，对回归而言没有增量价值。2024年作为终点则对应2024年度报告披露窗口，理论上覆盖绝大多数A股公司在2025年4月末前披露的年度报告。

最终形成的全量样本大约有6万个非金融“公司-年度”观测。相较常见CFPS、CHFS这类问卷数据库，它的体量不算大，但覆盖了中国资本市场过去二十多年里从互联网化到数字化再到智能化的完整过程。

1.3 需要明确的一点：它衡量的是“披露”而非“落地”

拿到这份数据以后，建议先把结论预期压低一点。无论我使用多仔细的词典和多严格的反向过滤，最终测量出来的仍然是“公司对外文本中与AI相关的内容密度”，而不是公司服务器里真正跑着的算法数量。

“披露”和“落地”之间存在两个方向的误差：可能某家公司已经把AI用在了生产线上，但在年报里只是笼统一句“工艺优化”，没有出现任何我们词典里的关键词；也可能某家公司只是在战略展望中引用了行业通用表述，并没有实际项目推进。数据可以做到把第二类高估压到最低，但无法消除第一类低估。所有依赖这份数据做因果推断的研究，都必须把这个测量误差放在识别策略里考虑。

2. 25年年报文本改造：数据集的底层处理工序

2.1 源文件别指望现成：年报PDF本身就是最大的坑

这份数据集从2019年开始第一次构建，前前后后迭代过四五个版本。第一版我天真地以为可以直接从数据库下载“年报正文TXT”，结果第一批抽样就发现，所谓TXT文本普遍来自早期批量OCR，错字率远高于论文可接受范围。更麻烦的是，这些文本很多把PDF的页眉页脚、目录、财务报表附注的表格内容混在一起，关键词会被财务报表里“应收账款智能化项目”这类高密度文本污染。

所以现在我很坚持一个原则：只要有条件，就从巨潮资讯网等官方来源获取年报原始PDF，再统一解析。每年需要用到的公司年报数量并不少，但这一步不能省。原因很简单，后期所有变量都建立在“干净全文”之上，如果源头文本是脏的，后续做再多标准化处理都是白搭。

2.2 文本抽取的具体工序和工具组合

当前版本的年报PDF，绝大多数是文字版，使用pdfplumber可以直接抽取页面文本。对早期扫描版年报，则必须先做OCR识别。我用的是PaddleOCR的文本识别模块，配合自写的表格区域清理逻辑。这里有一个很容易被忽略的细节：一份100多页的年报，如果PDF页面是双栏排版，直接抽出来的文字顺序会乱掉。有些年份的半年报和年报模板并不统一，不同事务所排版习惯更不一样，所以每抽完一批都要随机抽几页人工核对页序。

下面是一段简化的抽取逻辑，实际使用时还需要增加页码过滤和异常重试机制：

python复制import pdfplumber

def extract_annual_report_pdf(pdf_path):
    full_text = []
    with pdfplumber.open(pdf_path) as pdf:
        for page in pdf.pages:
            page_text = page.extract_text()
            if page_text:
                # 去掉页眉页脚，常见干扰项包括公司简称和页码
                lines = [line.strip() for line in page_text.split("\n") if line.strip()]
                lines = [line for line in lines if not line.isdigit()]
                full_text.append("\n".join(lines))
    return "\n".join(full_text)

同样一份PDF，用不同解析器出来的字符数可能差2%到5%。这本身无所谓，但如果你把两份不同年份年报用不同工具解析，再直接对比词频，就会产生系统偏差。我的处理方式是不管哪一年，一律用同一套代码跑同一套规则，不允许中途换工具。

2.3 把分析窗口切到“管理层讨论与分析”

对上市公司年报而言，全文词频和分窗口词频的意义完全不同。年报前面大部分内容是会计数据、股东情况和财务报表，这些部分的“人工智能”四个字出现频率天然很低，信息量很小。最关键的叙述性段落是“管理层讨论与分析”，也就是董事会报告部分。公司管理层对当年经营情况的总结、对行业趋势的判断、对未来研发方向的规划，基本都集中在这个窗口里。

所以我在这份数据集中至少保留两套词频：一套在全文中统计，用于捕捉“这一年这家公司整体上是否被AI话题覆盖”；另一套只在管理层讨论与分析窗口统计，用于捕捉“管理层有没有把AI当成战略层面的议题”。第二套指标在实证中更常用，因为它能在一定程度上剔除会计附注里的偶发词，同时规避年报模板中固定出现的政策引述。

实际切分时，我会查找“第三节 管理层讨论与分析”或类似标题作为起点，再定位到“公司治理”或“重要事项”章节作为终点。有些年报章节标题文字不规范，比如“管理层讨论与分析”前面带空格，或直接写作“董事局报告”，所以边界规则需要维护一份跨年份的章节标题变体列表。

3. 核心变量不是“词频”两个字能概括的

3.1 关键词词典采用三层结构

做这类数据，最重要的不是程序写得有多花哨，而是关键词词典靠不靠谱。一个只包含“人工智能”和“AI”的词典，在2023年之前会严重低估企业的智能化投入；但一个把“智能”两个字就当作AI指标的词典，又会在2015年“智能手机”最热的时候产生大量误报。

我采用的是三层分类词典，分别对应技术底座、应用场景和战略态度。具体结构如下：

每个层级内部还有扩展词库和排除词库。比如A层里包含了“ChatGPT”“GPT-4”“Diffusion模型”等近两年的高频词；B层里则设置了对“智能”的紧密约束，“智能家居”“智能手机”只有在上下文出现A层词时才会被计入。这种做法会牺牲一点召回率，却能明显提升精度，在面板数据里精度的价值远大于召回率。

3.2 由词频衍生出的五个常用变量

把原始命中次数统计出来后，还需要转成便于放进回归模型的变量。我这里公开一份比较常用的衍生变量清单，方便使用者直接对照口径：

• ai_dummy：当年年报命中任一A层或B层关键词则为1，否则为0。适合做“是否引入AI”的Probit模型。
• ai_freq_raw：目标窗口内所有关键词命中次数加总。多用于做数据处理前的原始核查。
• ai_freq_ws：标准化词频，计算方式是命中的关键词总数除以窗口字符数再乘以1000。这是处理不同公司年报篇幅差异后的结果。
• ai_breadth：关键词覆盖广度，计算方式是命中的二级词类数除以词表二级类总数。能反映AI引入是单点行为还是多点铺开。
• mda_ratio：管理层讨论与分析窗口词频占全文词频的比例。若比例很高，说明讨论更多集中于战略规划而非零散披露。

其中mda_ratio是我个人最看重的一个参考值。如果一家公司全文有30次相关词，其中25次都出现在管理层讨论与分析里，这通常意味着管理层在主动陈述AI战略，而不是审计报告或附注里被动出现。反之，如果相关词都集中在“行业格局”章节但又语焉不详，就要警惕是套话式披露。

3.3 词频标准化不能只看“除以总字数”

常见处理方式是把词频除以年报总字数，减少报告篇幅差异带来的影响。这个方法方向是对的，但有一个隐蔽问题：年报里的总字数主要由财务报表构成，而财务报表的字数基本不随AI讨论变化，如果你把词频除以全文字数，分母里混入了大量和AI无关的会计信息，很容易把AI披露差异稀释掉。

更合理的做法是除以管理层讨论与分析文本的字符数。因为MD&A篇幅能反映管理层愿意为业务叙述分配的信息空间，分子和分母同处一个语义空间。如果一家公司用很长的管理层讨论文字叙述AI投入，即便绝对词频只有个位数，标准化后的相对强度仍然很高。

这也就意味着，当你把这个数据集和财务数据库里的总资产取对数放在同一个模型里时，不需要再额外控制年报总字数，因为标准化处理已经解决了主要问题。但如果你的被解释变量是年报全文词频，那最好还是在模型中加入ln(报告总字数)，以吸收报告长度上涨的时间趋势。

4. 质量复核中不可能躲过的五类异常样本

4.1 扫描件分行把“人工智能”拆成了“人工 智能”

早期年报的扫描件经过OCR后，原本的汉字常被拆到不同行，比如“人工”在第一行末尾，“智能”在第二行开头。如果你在统计前先按行处理，这个真实的AI词就会完全漏掉。解决方式是在关键词匹配前，先把连续文本中的换行符和空格统一去掉，再进行词典命中。但这里又出现边界问题：去掉所有换行会导致“请广大投 资者注意风险”变成“请广大投资者注意风险”，这自然没问题；可如果某些表格里的字符本来就不该连在一起，也会被强行粘成错误词。所以我用的是按段落清理，不按整页清理。

4.2 公司名称、产品名称自带“智能”带来的系统高估

A股里有大量公司的股票简称含“智能”，比如自动化设备公司、智能仪表公司。如果不加过滤，这些公司天然每年都会被记为高词频，哪怕它们当年没有任何新增AI动作。我处理的方法是先把股票全称、简称和主要产品名称中的固定用词收集起来，只要年报中命中词出现在这些专有名词内，就不计入AI词频。例如“智能电表”如果属于公司主要产品，就不作为“智能制造”来统计；如果是在一段描述“公司拓展智能电表之外的智能制造业务”中出现，则依然计入。

4.3 年报模板复制引用的“虚假膨胀”

每年都有不少公司会直接把上一年年报的“风险因素”或“行业展望”段落原样复制，只改年份。这些段落里如果出现“随着人工智能技术的快速发展”这类铺垫句，就会让第二年的词频出现虚假高点。更麻烦的是，同一家公司连续多年复制同一句话，面板上就会看到一条稳定的词频平台，看起来像是AI战略持续投入，实际只是模板惰性。

我的质检过程中随机抽取了50家连续三年词频上升的公司，手动回看原始文本后发现，约有12%的句子与前一年或前两年基本重复。后来我给分析流程增加了一个文本重复度阈值，如果某段文字与前一年对应段落的Jaccard相似度超过0.85，就不再重复计词。这是一个相对保守的调整。

4.4 “人工”和“智能”相邻出现不等于“人工智能”

“人工智能”四个字是完整词，词典匹配本身不会错。容易出错的是我早期使用的宽松匹配规则。有一版我为了提升召回率，先判断是否出现“人工”，再看同一文本窗口内是否出现“智能”。结果大量“人工效率提升与智能装备改造”这类句子被误判成“人工智能”，导致口径膨胀。现在所有关键词都必须按照预置词表做全词匹配，宁可漏掉“人工神经网络模型”中的“人工”单独出现，也不允许宽松窗口匹配。

4.5 不同版本年报文本源头造成的不可比

同一家公司不同年份的年报，在不同数据平台上可能分别来源于巨潮原始PDF、商业数据库转录文本、第三方爬虫文本。这些文本的OCR错误率、表格处理规则、页眉页脚过滤逻辑都不一样。质检中我验证过同一份年报在三个平台上的词频结果，差别最高能到30%。最稳妥的做法是只用一个固定渠道的PDF重新解析，不要贪便宜直接拼接现成文本。这个原则对于2000年到2024年的完整跨度尤其重要，因为越早的年份，第三方数据库的分工程度差异越大。

5. 从描述到回归：这份数据可以支撑哪些实证思路

5.1 先画行业和年份的采纳率曲线

拿到数据后的第一个动作，建议先做描述统计，而不是立即跑复杂模型。你可以按行业和年份计算ai_dummy的均值。实际上从近几年的统计结果看，A股年报中提到AI相关关键词的公司占比已经明显提升，但在2020年之前曲线总体平缓，近三年出现快速爬升，且计算机、通信、电子、电力设备等行业明显领先于传统制造业和消费行业。

这个描述性结果本身就有信息量。它告诉研究者，AI引入不是一个匀速过程，行业集聚和起步时机都是异质性的。如果你计划用双重差分法评估外部冲击的影响，这些时间趋势就是必须平行检验的对象。

5.2 人力结构与AI引入的关系

由于数据集可以和上市公司员工构成数据匹配，我见过一个不错的实证设计：把AI相关词频作为解释变量，用公司人均薪酬、高学历员工占比、技术人员占比作为结果变量。面板固定效应下看公司首次出现高AI词频之后，人力结构是否发生改变。

这里建议使用首次跨越阈值的识别思路，比如定义公司在连续两年未命中AI关键词之后，第三年词频进入当年行业前25%的事件为“AI重点引入期”，再观察这个事件窗口前后三到五年的员工结构变化。相比简单回归，事件研究法更容易向读者展示动态效应。

5.3 与专利和软件著作权形成交叉验证

AI引入的词频数据属于文本信号，如果能把它和专利数据交叉起来，整体的可信度会明显提高。一种简单处理方法是，先利用专利方的IPC分类号和关键词筛选出“AI技术专利”，再统计每家公司在每一年是否有该类专利的申请记录，作为年度变量与年报词频互为稳健性检验。

我在实际测试中发现，如果一个公司既在年报中密集披露AI相关词汇，又在当期申请了实质性AI专利，这两个信号的重合度通常不低；而那些只在年报里说“积极推进AI技术”却没有任何专利和招聘信号的公司，后续两三年营收和研发支出的变化往往更弱。这说明文本披露在短期内有炒作风险，但长期跟随真实投入的企业仍会形成显著差异。

5.4 做区域或行业汇总时的分位数处理

部分应用不需要公司层面精密计分，只需要按省份或行业统计AI覆盖率。此时建议不要直接使用均值，而是先按行业-年度把标准化词频排序，再取75分位以上定义为“高AI浓度公司”，然后用这些公司的数量占比构建区域指标。这么做能消除个别公司年报写作风格带来的极端值影响，也让不同区域的比较更稳健。

6. 用好这份数据前必须理解的三条边界

6.1 “披露为0”并不等于“没有引入AI”

前面说到，文本披露的误差方向不可控。一家公司可能在年报正文中没有出现AI相关词，但它通过内部订单管理软件、供应链预测系统完成了大量算法应用，只是没有用“人工智能”这个标签。反过来，一家公司频繁提及AI，却不能说明它真的训练过任何模型。

因此在做分组分析时，将ai_dummy=0组命名为“未引入AI组”，会给你带来不必要的质疑。更稳妥的说法是“年报中未识别到明确AI披露组”。在做因果推断时，我建议利用面板中的时间变化而非绝对水平，或者引入专利、招聘信息等作为工具变量，以缓解披露意愿带来的测量误差。

6.2 词频不是连续变量，不能简单当作“投入强度”

有的研究者习惯性地把ai_freq_ws当作AI投入强度的连续代理变量，放进OLS回归然后读系数解释。但年报词频本质上是离散计数，而且分布高度右偏，大量公司是0，少数公司是几十甚至上百。直接使用可能有异方差和极端值问题。

我建议优先使用三种替代形式之一：一是使用加1后取自然对数；二是将其分成若干档，做定序回归或转为二值变量做Probit；三是采用负二项回归处理计数数据，而不是用高斯似然的OLS。在结果表中报告不同形式下的稳健性结论，会比解释“词频每增加一个标准差，某指标上升多少”更可信。

6.3 概念随时代漂移，跨期比较必须保持警惕

所有长期文本数据都会遇到概念漂移问题。“人工智能”这个标签在2005年、2015年和2023年的含义并不完全相同，企业使用这个词的表达习惯也一直在变化。和这个问题相比，关键词列表的更新反而是相对容易的一部分。

我在构建扩展词典时，会从每一年随机抽取一些低词频公司阅读原文，看当年语境。2005年前后的“配电自动化”“智能控制”与今日的“大模型”“多模态模型”完全是两个语境，但它们都有共同的技术内核。如果只是想衡量“企业是否接受了较先进的智能化技术”，可以把旧词延伸范围放宽；如果只想衡量“现代机器学习应用”，就需要以2020年后的话题为核心，而对早期样本采取保守计数并单独控制年份效应。

从实操角度讲，我最强的建议是：在使用任何版本的“上市公司人工智能引入数据”前，先抽出三个你知道底细的公司，把它们的年报原文和数据集里的指标对照一遍。2000年找一家老牌制造企业，2024年找一家人工智能概念公司，再找一家传统周期行业公司。如果这三家的指标符号能讲通，数据集才能进入正式建模流程。数据发布时的摘要指标再漂亮，也不如自己动手复核一遍来得踏实。