生成式 AI 如何充分释放非结构化数据的价值
摘要｜ 文字、声音、图片和视频，不再只是难以处理的“材料”。AI 正在让真实用户声音进入决策，重写洞察行业。
这两年，生成式 AI 给用户洞察行业带来诸多变化。我们不断看到有新的公司、新的产品形式、新的方法论冒出来。整个调研项目流程正在经历重塑。
但如果要找一条主线脉络，来帮助我们理解：这波 AI 技术变革，对洞察行业究竟带来了怎样的变化？我认为是非结构化数据的价值挖掘被空前地重视起来。看懂了这条脉络，我们就能看明白为什么有些新公司、新产品会火，以及行业未来的走向。
数据是我们洞察行业的原料。我们采集数据，分析数据，形成洞察。但是，我们所谓的数据，大部分时候是指结构化数据。就市场规模而言，定性和定量调研并非各顶行业半边天。实际情况是定量调研一直占据主流，而定性一直处于重要但非主要的位置。我查询了历年 CMRA 的行业报告，定性占比峰值时候也不过 17% 左右。
但是，在这个世界的存量数据中，非结构化数据才是大头。维克托在《大数据时代》一书中提及 95% 的数据是非结构化的。我们在用户洞察工作中采集到的大量消费者访谈的笔录文本、录音，体现真实生活和消费场景的图片、视频，都是非常珍贵的洞察资产。但这些非结构化数据，因为浏览、解析、分析的成本与门槛更高，对其价值的挖掘一直是不足的。
直到这波生成式 AI 兴起，大语言及多模态大模型让我们看到了唤醒非结构化数据价值的契机。这新一波 AI 技术变革，极有可能改变整个洞察行业在过去两次技术变革中养成的“看数”习惯。
大数据 + 调研自动化，加固了对结构化数据的依赖
在这波生成式 AI 变革之前，洞察行业在过去 20 年，还经历了两次重要的技术变革。
首先是 2010 年左右，大数据兴起。彼时，整个调研行业一夜之间被划到了夕阳的“小数据”之列，产生了巨大的危机感。当然，很快大家就在应用大数据的过程中发现了各种问题——每个大数据源的 base（数据基础）天然就是偏的；数据“脏”、清洗难度大；只能体现行为不能了解动机；“围墙花园”导致用户数据无法打通……然后市场对调研这种 Designed Data（为特定研究目的而设计、采集的数据）的价值认知又重回理性，整个调研行业只是虚惊一场。
但大数据的兴起，改变了整个商业世界看数的习惯。其时，大家热衷于深挖价值的大数据，最主要还是互联网平台、运营商等沉淀的用户行为大数据。它主要是结构化数据。那些落不到具体字段、不能结构化存储的、不能上 dashboard（数据看板）的数据，“很难用起来”。受甲方影响，这种看数的习惯也蔓延到了调研行业乙方。
另一波技术变革则是 2014 年左右兴起的调研自动化。它极大地降低了定量调研的执行成本。其实这波变革的本质，就是互联网兴起带来的在线调研的兴起。只不过，互联网兴起是 2000 年左右，在线调研平台的出现则滞后数年——我自己工作中用上好像已是 2007 年。但彼时中国网民规模仍然较少，网民群体默认属于年轻、高学历人群，不代表整体人群。直到移动互联网兴起，网民规模已接近全量人群了，在线调研就进入了快速发展期，包括在线样本库、问卷编程平台、调研自动化平台等产品服务也蓬勃发展起来。
相比传统的线下执行，在线调研多快好省的优点很明显。而且，在线定量调研相对更符合大家现在看数的习惯——提供清晰的结构化数据结果，且大小数据结合，行为与态度数据结合……在线调研更易实现通过 mock up（模拟真实使用环境的测试原型）测试环境采集行为数据；在线调研数据可通过 UID（用户唯一标识）实现与行为数据打通，或者直接基于行为重定向投放问卷。
结构化数据从采集、解析/清洗、分析到应用，全流程都是更方便的；其次，全行业围绕结构化数据的“看数”习惯已经成型；再者，技术工具和上游样本供给生态的成熟，降低了通过调研采集结构化数据的成本。于是在线调研被越来越广泛地应用。
相对地，大量线下执行的定量调研转线上执行；有时一些定性调研因为执行慢，且似乎有了更轻的定量兜底而被省略了。整个调研行业越来越多的产能，都致力于怎样提效生产结构化数据了。根据 CMRA 的数据，2024 年在线定量业务占整个市场调研收入的 26%，占比最高。考虑到大量短平快的在线定量项目需求，实际发生的项目数量中，在线定量的占比应该更高。
2024 年中国市场调查行业各类业务收入占比
图 1｜2024 年中国市场调查行业各类业务收入占比
数据来源：CMRA《2024 年中国市场调查行业发展趋势报告》
但是，在线定量占比这个数字，已经呈现连年下降的趋势（根据 CMRA 数据，2021-2024 年在线定量业务占比分别为 32%、31%、28%、26%）。
积重难返的在线定量调研亟待减负
随着越发广泛的应用，在线定量调研的问题，也越发明显地暴露出来。表面上看，最突出的问题就是数据质量。
在线调研是被访者在无监督的状态下去填答的。绕过甄别、低投入答题等现象，也许多少是存在的。但我觉得，数据质量是个系统性问题，是整个体系过载之后显露出来的症状。
首先，现在的问卷太长太复杂了。
访问程序功能更强了，确实拓宽了研究方法论和问卷设计的边界。比如选项顺序、素材出示顺序可随机，可设置复杂的逻辑跳转，嵌入 mock up 拟真媒介环境，一些在纸质问卷时极难执行的研究模型（如 MaxDiff，即用于衡量多个选项相对偏好的最大差异法）如今轻松实现。同时，来自企业内部各部门都有关注的问题，一份问卷的题量和选项数量都越加越多，但似乎每一道题都不可删减。洞察领域的甲乙双方不懈努力，研究茴香豆的“茴”字的 N 种写法。最终，被访者看到的，是一份冗长的、认知负载非常高的问卷。
我原先给一家视频 APP 做 BHT 项目（品牌健康追踪研究）。那个问卷不断加题，最后每期时长需 45 分钟。我有时感觉非常割裂：现在整个在线视频行业都在讨论 3 分钟一集的短剧如何抢走了长视频用户。那既然一集电视剧，45 分钟的娱乐内容，用户都没耐心看了，他们又哪来的耐心填答 45 分钟问卷？
然而，有时候不明觉厉的复杂本身，反倒成为了体现“专业性”的壁垒。所以大家都倾向于做加法，不敢轻易做减法。最终，被访者答题质量大打折扣。
其次，当调研目的不仅是为了获得洞察，而是嵌入企业业务流，成为决策关卡或者内部考核的关键指标时，对数据“波动”的恐惧就会成为甲乙双方的不可承受之重。
验证阶段的各类测试，和竞品比，和 norm（历史常模）比，出不出 sig（统计显著性），相似度颇高的素材间比出的微末差距成为决策依据；BHT、NPS（净推荐值）等 tracking 类项目（持续追踪研究）的指标，是对重要 campaign（营销活动）的效果衡量，是相关部门的考核 KPI。当一次有限抽样样本的调研中，某个指标出现正常的波动，统计学上好解释，但商业上不好解释，就会遭到挑战。
为避免波动，轻易不敢变化样本来源。曾经碰到有个 tracking 项目，被客户盯着要解决数据波动的问题，最后只能逼着合作的 panel 公司（在线样本库服务商），按照其会员注册时间的长短，分三档设配额。因为新会员一般更认真，但相对打分也更严格，会拉低指标，造成波动。类似的情况也会发生在投流招募样本时，互联网上普通用户因为打分更认真，但是手上的“分寸”和 panel 会员不一致，会造成和历史数据对不上。
数据波动（或波动不符预期），就会被挑战数据质量。久而久之，大家宁愿继续使用确实存在问题、但结果相对可控的老方法、老渠道。各 panel 公司活跃的老会员，贡献了整个市场大部分的调研样本。虽然他们阅卷无数，用娴熟弥补认真，但毕竟他们答题的分寸感稳定，是更“安全”的样本。
减负思路：还被访者自由，“无损”获得反馈
当然，整个行业也在想办法怎样改善数据质量。治标的基操，就是不断迭代 QC（质量控制）手段。也有标杆企业的洞察部门在寻求治本的办法，在调研方法上做减法。我之前合作的头部客户中，就有尝试只用一道开放题做创意测试，甚至用纯开放题做新型 BHT 的。这些其实都是在尝试寻找根本解。长期以来，我们从业者纠结于自己的方便或者安全，给被访者那头加负太多了，回头还苛责被访者不认真答题。
现在，终于开始尝试把分析大量非结构化文本的挑战留给自己和专业乙方；让被访者符合人本习惯地、最低负荷地回答，获得丰富且真实的反馈。
想通这层，再回过头来审视我们现在约定俗成地常见定量调研的问卷结构，会发现重测量轻洞察的情况非常明显。
比如概念验证阶段，大量的快速测试类项目的问卷，以针对各指标的五点量表题为主，最后只留一两道开放题问原因。长期以来就是筛选有余但诊断不足。其实被访者每勾选一题，他脑子里都有为什么会觉得不喜欢/不相关/不新颖/不想买的原因冒出来，只不过我们的问卷没留给他表达的机会。因为那几个 KPI 得分太重要，是做筛选决策的依据，需要被访者在少干扰、尚余精力的情况下尽快把分打完。
BHT 项目，品牌认知等指标作为定量追踪指标没问题。但关于品牌形象的研究，为什么也一定要用选择题问？有时企业希望占据某一种用户心智时，需要在品牌形象这题里加相关的 attributes（品牌形象属性）选项，且它们每期的结果可能被作为品牌团队的 KPI。我曾经碰到过 BHT 中母品牌的品牌形象要承载内部四大 BU（业务单元）设定的用户心智 attributes 的 KPI，生生把品牌形象一题的选项加到 20+。一方面，选项那么多对于移动端答题的被访者体验极不友好；另一方面，即便有那么多选项，也未必穷尽被访者对该品牌形象的认知全集。其实理想情况下，品牌形象/个性的研究，明明可以通过定性的投射法来询问，先刺激被访者说出五花八门的描述，再来归纳。
假如我们可以把一份定量问卷的结构打开，根据每道题是侧重洞察还是测量分下类，让已嵌入企业业务流、必须精确测量的寥寥数个指标，照旧测量；而余下更多的问题，则可跳脱出固定的封闭题型，寻找更有效挖掘洞察的问法。 比如具体消费场景、购买考虑因素、媒介接触渠道、产品使用障碍……基于过往经验预设选项的封闭题，一定有未穷尽、实效性、存在诱导等问题，不如让被访者畅所欲言。
我有不少做定量出身、从业多年的老同事老朋友，他们对于项目中要涉及对非结构化数据的分析，是有强烈的不安全感，甚至排斥心理的。我充分理解，大家可能在过往某个涉及复杂的开放题编码，或加入了社媒内容分析的项目中，踩过坑。我自己踩坑经历也相当丰富。
但好在技术进步了。要分析大量文本，因为过往看数习惯必须要有 sizing 数据（规模或占比估算）？没问题。现在的 AI 针对某道开放题，甚至一整套问卷/访谈的文本内容，在缺乏固定码表的情况下，已具备快速归纳标签并打回标签的能力。AI 分析非结构化数据的能力，在用到社媒、电商评论、客服记录等大数据分析的工作中，业内已经积累了很多把非结构化数据转化为结构化数据的技术和经验，用回到调研中量级更小、更整齐的 Designed Data，不成问题。
问卷中的开放题文本，只是最简单的非结构化数据采集。定性研究中产生的笔录、录音、图片、视频，是更清晰、无损还原消费者真实想法、实际产品使用场景和过程的宝贵数据资产。以往的主要卡点就是利用效率太低。但这波生成式 AI 兴起，对语言和多模态内容的理解和推理能力得到巨大提升，极大地降低了我们分析和应用更多格式的非结构化数据的技术门槛。
一旦非结构化数据的采集与分析门槛同时下降，这种方法上的转变就不再只是理念。近两年流行的两类 AI 产品，恰好分别出现在洞察流程的输入和输出两端。
从 AI 主持人到 AI 消费者：“解压缩”的洞察工作流两端
回头再看这两年用户洞察领域的两种流行的 AI 产品：AI 主持人和 AI 消费者（AI Persona），其实都是围绕着非结构化数据的有效采集及应用输出而应运而生的产品形式。
传统调研中，结构化的问卷在数据采集阶段就做了一波压缩，精炼的报告在输出阶段再次做了一波压缩。而这两类 AI 洞察产品的价值，在于把采集和输出的两个环节，都在“解压缩”状态下完成，减少传统洞察工作流中的信息损失。
AI 主持人解决的是采集消费者自然状态下的自由反馈，比较优秀的 AI 主持人产品还可以基于整场研究主题和局部话题做到一定程度地澄清、追问、深挖、控场，获得信息浓度更高的反馈。且所有这些，都可以高并发、规模化地执行——人类主持人的时间精力，是传统定性项目中最大的瓶颈。
而 AI 消费者，则是一种进阶的盘活和输出消费者洞察资产的方式。它可以通过一种自然语言可问答的，更友好的互动形式把洞察传递给企业内部的业务部门。 很多时候只是提供一组统计结果的数据，业务部门是无感的。而如果让数字人提供从消费者视角出发的，更鲜活的语句表达，还原真实消费者的态度偏好以及消费和使用场景，大家才“更有体感”。
举一个典型调研类型，消费者需求场景理解与机会识别。我们只给出一组消费场景占比，或人群*场景占比的数据，指导意义很有限。这类调研最基础的信息颗粒，应该是一个个精炼但覆盖要素完整的用户故事。一个个用户故事，落位到人群*场景的需求地图上，成为寻找机会方向的经典洞察工具。这类调研，用 AI 主持人规模化执行，用 AI 消费者无损输出，即形成一条理想的全流程 AI 赋能的洞察工作流。
我应该是国内较早将这两类产品用于洞察工作的实践者。2024 年上半年起，我们已经在给一些标杆客户搭建定制化数字消费者，后来陆续给数十家客户搭建数字人产品。很多客户都问我一个问题：我们没有多少定性洞察资产的积累，定量数据能不能搭数字人？我也只能如实告知，定量数据不适合，它在采集之初就过度压缩了。这些客户的共性问题也折射出，积累定性洞察资产成本高昂的问题。
大概从 2024 年底，我们开始尝试搭建简易的 AI 访谈工具用到一些专项研究中，弥补开放题质量的不足，也积累了一些不错的项目实践。其实我一直构想着用 AI 访谈工具采集语料灌 AI 数字人，从而降低积淀定性洞察资产的成本。后来也在项目中一些客户共创探索过。但直到今年，具备较强访谈能力的 AI 主持人产品才开始出现在市场上。这让我对于 AI 主持人 + AI 消费者打造一条全流程 AI 赋能的洞察工作流 的想法，信心大增。
顺嘴提一句，我直到今年 Q2 才改口称“AI 主持人”的，之前我觉得市场上的相关产品，只能算 AI 访问员，照着结构化的大纲依次发问，基于大模型本身的交互能力，针对上一个回答中的亮点做一些基础附和。但是如今市场上领先的 AI 主持人产品，确实开始具备一些专业主持人的逻辑、技巧了。
作为洞察行业的创新探索者，我们需要在深度理解技术工具的能力边界的基础上，思考怎样结合研究目标和方法论，找到最适配它的场景和用法。
憧憬：调研形式和洞察中台的演进
AI 主持人兴起，非结构化数据价值将被空前重视，并不意味着未来一定是定量调研减少、定性调研增加。我更倾向于未来定性、定量的界面将变得模糊。如果未来 AI 赋能的数据采集和应用成为主流，结构化数据将不再是大样本分析的必要条件之一。消费者是参加了一次在线问卷调查还是访谈，也许从体验上而言没太大差异。可能都是以开放对话为主，夹杂少量需要统一测量的封闭题的混合型调研方式。 它比传统定性更轻、更易规模化，又比传统定量给消费者留下大得多的自由表达空间。虽然调研是以非结构化内容采集为主，但任意分析需要的 sizing 数据结果也都能准实时地实现。
洞察交付形式也会变化。AI 消费者作为一种拟人化的消费者 Agent（智能体），帮助业务人员接触和调用用户洞察。以后还可能出现产品创新、创意发展、渠道管理等不同职能的专家 Agent。现阶段很多企业内部搭建了所谓 AI 时代的洞察中台——搭建一个 RAG 知识库（基于检索增强生成技术的知识库），主要基于大模型能力实现智能检索和分析。我觉得这类洞察中台，会很快进化到应用层是各类消费者 Agent 和专家 Agent 的形式。 而上一个时代的以 dashboard 呈现结构化数据为主的数据中台，将逐渐被替代或并入新的中台。
当然，所有技术创新要全面推广，得满足技术和基础设施两重条件 ready（成熟就绪）。就像前 4G 时代流量资费和带宽会限制流媒体发展一样，现阶段 token（大模型处理信息时使用的基本计量单位）消耗的成本仍然是大部分 AI 应用爆发的重要制约因素。当 AI 主持人的每次交互都要调用更复杂的 multi-agents（多智能体协作系统），甚至实现将语气语调、表情、手势的实时识别——虽然技术上已可以实现，单场访谈的 token 消耗就会成为无法忽略的成本。
另外，对老方法的路径依赖也会产生制约。我已碰到多个项目，客户拿出一份定量问卷，希望所有的题型、跳转都能在 AI 访谈中完全实现，并且还纠结于定量题型在访谈中给到被访者的体验与传统问卷的差异。基于具体研究目的，根据侧重洞察还是测量分别适配合适的问法，可能也需要一段时间的市场教育，才能达成普遍共识。
不过，变化正在快速发生。现在的洞察行业确实很热闹，每月甚至每周都能看到一些令人鼓舞的新变化。围绕着新的 AI 产品形成新的价值链和产业生态，指日可待。
作者简介
诸彦杰
Mizzen 研究院专家