之前，我们推送了《AI 对话助手 Einstein Copilot for Tableau 现已进入公测阶段！》一文，有不少数据粉想要体验这一 AI 功能，以更快的速度探索数据、生成见解并构建可视化，助力商业运营和决策。

但在进一步探索前，认识 Einstein Copilot 底层 AI 架构的安全性和可信度是非常必要的。

今天，让我们一起跟随 Tableau 产品团队，了解 Einstein 信任层（Trust Layer）如何保护企业数据安全、最大限度地提高结果的准确性并支持审计。

什么是 Einstein 信任层？

Einstein 信任层（Trust Layer）是内置于 Salesforce 平台的一个安全的 AI 架构。它是一组协议、安全技术以及数据隐私控制，旨在确保用户探索 AI 解决方案的过程中的数据安全。

Tableau Pulse 和 Einstein Copilot for Tableau （已更新为 Tableau Agent）在内的 Tableau AI 功能都是基于 Einstein 信任层所构建的，并继承了其所有安全、治理和信任方面的能力。

图示：Einstein 信任层工作原理说明

哪些人有权访问数据？

关于 Einstein Copilot for Tableau（已更新为 Tableau Agent），用户最常见的问题是“谁可以访问我们企业中的数据，他们用这些数据做什么？”

为了回答这个问题，我们需要从 Einstein 信任层各项能力所遵循的原则开始说起。

首先，Salesforce 和 Tableau 与所有第三方大语言模型（LLM）提供商（如 OpenAI 和 Azure OpenAI）签订的合同中，都包含了零数据保留条款。这意味着 Einstein 信任层保证发送给 LLM 的任何数据都不会被该模型保存。一旦 LLM 处理完指令并响应之后，它就会同时忘记这两个内容。

也就是说，企业的任何数据都不会被外部的任何人或事物利用；这些数据不会用于训练 Tableau 和 Salesforce 信任边界之内或之外的任何模型。

用户生成的指令和从 Einstein Copilot for Tableau（已更新为 Tableau Agent）收到的响应都属于你的私有财产。尽管 LLM 模型会遗忘它们，但每一位 Einstein Copilot for Tableau（已更新为 Tableau Agent）用户都配备有专用于安全存储指令和响应数据的 Data Cloud 实例。你可以通过 Einstein 信任层的“Audit Trail” 功能获取日志，以便信息安全团队进行审计。

在 Tableau Cloud 中，任何数据到达 Einstein 信任层之前，Einstein Copilot for Tableau（已更新为 Tableau Agent）将完全遵守所有权限、行级安全性（用户筛选器）和虚拟连接的数据策略。

这意味着，如果用户无权访问 Tableau Cloud 站点上的某些数据，那么他们在使用 Einstein Copilot 时也同样无法访问。并且，无论是否使用 Einstein Copilot for Tableau（已更新为 Tableau Agent），拥有数据访问权限的人，始终享有唯一访问权。

哪些数据会发送到 Tableau 站点外？

我们可以参考上面的架构图，深入了解 Einstein Copilot 的工作原理。注意：Einstein Copilot for Tableau 仅会记住 Web 创作会话中数据源的上下文。

首先，Einstein Copilot 会检索 Tableau 工作簿连接的数据源，并基于此创建数据概要：

• 字段名称和描述：这告诉 Einstein Copilot 工作簿中有哪些数据可用。

• 字段的数据类型：它会识别出字段属于字符串、数字还是日期时间等类型。

• 非数字类型字段：抓取该字段前 1000 个唯一值。如果唯一值超过 1000 个，则 Einstein Copilot 将忽略这些额外的值。

• 非数字类型字段：抓取该字段前 1000 个唯一值。如果唯一值超过 1000 个，则 Einstein Copilot 将忽略这些额外的值。

上述步骤全部在你的 Tableau Cloud 站点内完成。汇总后的结果会发送给第三方 LLM 提供商，用于对非数字类型字段中的字段名称和唯一值进行量化处理。

注意，量化步骤非常重要，因为它可以让 Einstein Copilot for Tableau（已更新为 Tableau Agent）理解用户指令中的日常用语、缩写和同义词。

举个例子，假设你有一份数据集，其中有 “预测销售额” 和 “产品线” 字段， “产品线” 字段中有一个值是 “体育用品”。通过量化处理，Einstein Copilot for Tableau（已更新为 Tableau Agent）可以将“预计 5 月份能销售多少运动产品？”这样的用户查询指令，转换为可视化图表，并在图表上显示 5 月份 “产品线” = “体育用品” 的 “预测销售额”。

由于 Tableau 与第三方 LLM 提供商实施了零数据保留策略，因此在量化完成后，全部指令和响应数据会立即被遗忘。

关于个人身份信息的处理

个人身份信息是另外一个需要说明的重点。默认情况下，Einstein Copilot for Tableau （已更新为 Tableau Agent）会启用 Einstein 信任层的“数据脱敏”功能。

通过使用模式匹配和机器学习技术，数据脱敏功能可以识别指令中的个人身份信息 （PII），并在发送给 LLM 模型之前用占位符文本替换掉 PII 字符，占位符文本根据其代表的实际内容而定。

相比于通用符号，使用占位符文本更有助于 LLM 维护指令中的上下文，从而生成更有关联性的结果。然后，Einstein 信任层在将响应结果返回给用户时关闭数据掩码，以便显示相关数据。

在此，姓名、电子邮件、电话号码、社保账号、公司名称、国际银行账户、纳税人识别号、护照和驾驶证号码等信息，会被 Einstein Copilot for Tableau（已更新为 Tableau Agent）屏蔽和脱敏。

请注意，虽然模式和基于 ML 的数据检测模型在测试期间非常有效，但没有任何模型可以保证 100% 的准确性。此外，跨区域、多国家的用例可能会影响检测 PII 数据的能力。秉持信任为本的原则，Salesforce 会持续评估和改进模型能力。

PS：数据脱敏功能可以在 Salesforce 组织的 Einstein 信任层设置中进行配置。

数据都去哪儿了？

每一次 Einstein Copilot for Tableau （已更新为 Tableau Agent）调用 LLM 时，数据都会经历一次来回传输的流程：从你的 Tableau Cloud 站点出发，途经分配给 Einstein Copilot for Tableau 的 Salesforce 组织（作为中转站），到达 LLM 所在位置，然后再返回。在数据停留过程中：

1、Tableau Cloud 站点所在的托管区域是你在创建站点时决定的。

2、你也可以选择在创建 Salesforce 组织时将其放置在与 Tableau 站点相同的区域。

3、目前， Einstein 信任层使用的 OpenAI LLM 位于美国。不过，今年晚些时候将提供 Azure OpenAI 作为可选用的 LLM，以便企业可以配置 LLM 所在的区域，从而完全控制数据停留的过程。

请注意，并非所有区域都受支持，因此请咨询后再确认数据停留需求。

是否信任 Einstein Copilot 的返回结果？

信任并不仅仅指数据的安全，还包括了确信 Einstein Copilot for Tableau 将返回准确且安全的查询结果。虽然 Einstein 信任层已经实施了各种技术和控制手段来最大限度地提高准确性并减少错误，但与所有生成式 AI 返回的结果一样，无法保证 100% 的准确性。

01 安全、无害的结果

Einstein Copilot for Tableau 通过使用 Einstein 信任层的“有害内容置信度评分”功能来检测 LLM 的输入和响应信息。

具体来说， Einstein 信任层采用混合解决方案，结合了基于规则的脏话过滤器和由 Salesforce 研究团队开发的 AI 模型。这是一个基于 Flan-T5-base 的 Transformer 模型，使用 Salesforce 法律团队批准的 7 个数据集中的 230 万个指令进行训练。

此模型可以针对 7 种不同类别的有害指令和回复进行评分，包括侮辱性（如粗鲁、不尊重的评论）、暴力和脏话。

Einstein Copilot for Tableau 使用由 Einstein 团队迭代开发的基准，过滤有害内容并向用户显示警告。有害内容会与其置信度评分一起存储，以供用户团队通过 Audit Trail（审计追踪）功能的日志进行审核。

02 对准确性进行基准测试

为了评估 Einstein Copilot for Tableau 的准确性， Salesforce 会在每个版本发布时使用来自内部 Tableau 使用的测试数据集进行基准测试。

该数据集包含超过 1500 个以上的（查询、可视化）和（查询、Tableau 计算）配对组合。通过建立一套衡量标准，量化对比 LLM 生成可视化与人工创建可视化的相关性和准确性。

这套标准涵盖了用户向 Einstein 信任层提出分析问题的不同方式，包括：

• 规范准确率: 衡量生成的理论规范与预期理论规范的匹配程度。

• 语义匹配准确率: 衡量生成的理论规范与预期理论规范的匹配程度，同时考虑通配符匹配。需要通配符匹配来解释可视化呈现的多种方式。例如，相对日期筛选器 vs 日期范围筛选器、使用多个日期字段来呈现趋势线图等。

• 召回率：搜索检索器正确返回并由 LLM 选择的预期字段的百分比。

为了实现这种级别的准确性， Salesforce 使用动态基础（检索增强生成或 “RAG”）技术，指导 LLM 参考指令中包含的信息。例如：

• 数据源中的元数据。这可以让 LLM 理解数据源的上下文，并防止它生成数据集中不存在的字段。

• 会话的历史聊天记录。这使 Einstein Copilot for Tableau 能够理解指令中的代词（如“this”、“that”、“these”、“those”）的含义，并将其指向聊天会话中较早出现过的其他单词或概念。

• 工作表上的当前可视化效果。这可以让 LLM 理解当前可视化的上下文，以便可以准确地进行修改。

除了动态基础，Salesforce 还会迭代调整 Einstein Copilot for Tableau 处理歧义的方式。例如，面对“显示过去 6 个月中各产品的销售额”这样的简单查询指令，如果数据源中存在多个日期时间字段，那么如何辨别“过去 6 个月”指的是哪个字段。

目前，在呈现可视化效果前，Einstein Copilot for Tableau 将向用户询问后续问题，以便获取到日期时间字段的相关信息。

未来，Einstein Copilot 可信度如何？

Tableau 和 Salesforce 深知，如今企业在享受生成式 AI 便捷性的同时，同样需要面对将企业机密和客户数据托付给生成式 AI 的挑战。但可信度的建立和完善，不能一蹴而就。未来，相关产品团队将不断根据客户的反馈迭代和更新功能。

例如， 产品团队正在为那些不能使用第三方 LLM 供应商的客户开发自有大语言模型 解决方案。他们还将提升 Einstein Copilot for Tableau （已更新为 Tableau Agent）消除歧义的能力，方法是学习用户通常会将哪些度量和维度一起使用。此外，还会经常针对基准数据集测试新改进的指令，并仅发布那些性能和准确性兼备的提示。

希望本篇内容，能够解答大家对于 Einstein Copilot for Tableau（已更新为 Tableau Agent） 的一些疑问和担忧。最后，距离 Tableau 2024.2 上线的日子越来越近了。同时，在本月底的 TC24 大会上，估计官方又会放出新的产品消息，对此功能感兴趣的小伙伴，可以持续关注优阅达推送哦！