多模态就绪:可供模型引用的图片、替代文本和图表
作者:Lukas Richter,高级内容自动化策略师
一张图表可以在几秒钟内解释清楚一段文本需要数分钟才能描述的内容。但是,如果其含义只存在于图像文件中,许多读者——以及许多搜索系统——可能会错过其要点。
这就是为什么多模态就绪并非仅仅是添加更多图片。它是关于对每一个有用的视觉元素进行打包,使其含义在图像本身、页面文本以及连接两者的代码中都清晰明确。
但有一个重要的限制:良好的替代文本可能有助于系统理解图像,但它不保证AI助手会引用该页面。 理解图像和选择网页作为来源是不同的步骤。
研究成果的展示与未展示
图片说明有助于解决视觉问题
一些研究发现,与图像配对的文本可以帮助模型回答有关图像的问题。一项2019年的研究发现,为图像添加段落式说明改进了视觉问答任务的性能。这些说明提供了比单独图像特征更容易与问题匹配的细节。但这只是一个模型实验——而不是测试将替代文本添加到实时网页是否会增加AI引用。ACL Anthology 论文 (aclanthology.org)
图表和示意图对于模型来说仍然难以精确读取。在一个图表问答基准测试中,研究人员发现在查找值之间关系等任务中存在弱点。他们的结果通过特殊的文本提示得到了改善,这表明了清晰语言的价值——但并不能证明任何一种页面格式会获得更多引用。ChartInsights 基准 (arxiv.org)
更广泛的教训是实际的:视觉元素可以提供有用的证据,但模型仍然可能遗漏小标签、精确值或步骤之间的路径。 例如,OpenAI的视觉指南警告了小文本、图表、颜色编码元素和精确的空间推理。OpenAI 视觉指南 (developers.openai.com)
更好的替代文本并非引用转换器
搜索系统可能会利用图像描述和周围文本来理解图片显示的内容。谷歌表示,在为搜索理解图像时,它会结合使用替代文本、计算机视觉和页面内容。它还建议将图像放置在相关文本附近。这支持编写有用的替代文本,但它并不能证明替代文本本身就能让AI助手引用一个页面。Google 图片 SEO 指南 (developers.google.com)
本文所审查的证据不能证明仅凭更改替代文本就能提高当前所有AI助手的引用率。许多系统没有精确解释它们读取了哪些页面元素,或者为什么它们选择一个来源而不是另一个。谷歌表示其AI搜索功能没有特殊的标记要求,并且不保证符合条件的页面会被展示。Google 的 AI 功能指南 (developers.google.com)
因此,将改进的视觉包装视为一个合理、可测试的假设,而非承诺。它可以使页面更易于使用、更易于解析,并且更有可能包含直接回答问题的文本。至于助手是否会引用它,则是一个需要单独衡量的结果。
将每个重要视觉元素打包作为证据
一个强大的视觉包有四个部分:图像、简洁的替代文本、说明文字以及附近的文本解释。 每个部分都有不同的作用。
1. 将替代文本作为简短的替代品
替代文本应该向无法看到图像的读者提供理解页面所需的信息。对于一个简单的图表,可能只需一句话。对于复杂的图表或流程图,替代文本应识别视觉元素及其主要目的,而不是将每个细节都塞进冗长的描述中。
例如:
alt="结账流程,其中包含支付失败后的重试路径。"
对于装饰性图像,使用空替代文本 (alt=""),以便辅助工具可以跳过它。不要遗漏替代文本,也不要用重复的搜索词填充它。W3C 的复杂图像指南 和 Google 的图像指南 区分了短文本替代方案和更完整的描述。(w3.org)
2. 使用说明文字阐明图表的要点
说明文字应该帮助读者理解图像为何重要。“架构图”之类的标签通常过于模糊。
一个更有用的说明文字是:
图 1. 支付失败后,购物者返回支付页面;购物车保持打开状态。
使用 HTML <figure> 和 <figcaption> 元素将说明文字与其图像连接起来。清晰的图表编号或名称也使得在文章文本中引用同一视觉元素变得更容易。Google 的文档风格指南 提供了结合替代文本、说明文字和更长描述的图表示例。(developers.google.com)
3. 将完整解释放在页面中
复杂的图表通常比简短的替代文本描述能表达更多内容。因此,将重要含义也放入普通的页面文本中。对于流程图,描述步骤以及每个分支发生的情况。对于图表,包括时间段、单位、关键值和趋势。对于技术图表,命名部件并解释它们如何连接。
W3C 建议对复杂图像提供简短描述和更完整的文本描述。这种更完整的描述可以放在文章本身,靠近图像,并供所有读者阅读。当精确值很重要时,数据表可能会有所帮助。W3C WAI: 复杂图像 (w3.org)
4. 保持名称和标签一致
如果你的图表称某个事物为“激活”,那么在说明文字和文章中也要使用相同的词。如果图表显示了一个重要的结果,请在附近的一句话中说明:“在图2中,大多数注册用户在创建第一个项目之前就流失了。”
这不是一个神奇的引用技巧。这是一种使页面证据更容易理解和引用引用的方法。谷歌表示,AI 概述或 AI 模式没有特殊的 schema 要求;有用的工作是将重要内容保留在文本中,并使结构化数据与人们可以看到的内容相匹配。(developers.google.com)
以下是一个流程图的简单模式:
html
结账流程中的关键点是支付失败不会清空购物车。
图 1 文字说明: 购物车 → 配送 → 支付 → 确认。如果支付失败, 购物者返回支付页面并保留购物车。
简短的替代文本识别了图表。说明文字给出了其主要要点。最后一句话用纯文本解释了路径。对于具有精确值的图表,还可以添加这些值的表格或列表。
确保爬虫可以抓取图片
一个描述良好的图片仍然需要可访问。使用带有真实 src URL 的普通 HTML <img> 元素。谷歌表示,它可以在 <img> 元素的 src 中找到图片,但不会以相同方式索引 CSS 背景图片。其图片指南还支持图片站点地图中托管在 CDN 上的图片。Google 图片 SEO 指南 (developers.google.com)
对于 CDN,请检查以下基本事项:
- 图片 URL 无需登录或过期访问令牌即可工作。
- 页面的爬虫权限和 CDN 的安全规则都允许访问。
- 渲染页面中的图片 URL 稳定并返回正确的文件。
- 响应式图片包含回退
src。 - 重要文本不应隐藏在图片中,而应作为真实的页面文本。
- 首屏以下(below-the-fold)图片应在可见时加载——而不是只有在用户以爬虫无法重现的方式点击或滚动后才加载。
谷歌的懒加载指南指出,图片 URL 应出现在渲染的 HTML 中,并在进入视野时加载。它还建议不要对页面打开时已经可见的图片进行懒加载。Google 的懒加载指南 (developers.google.com)
还要按平台检查权限。OpenAI 将 OAI-SearchBot 文档化为其搜索爬虫,并表示它与涉及训练数据的 GPTBot 是独立的。允许其中一个不要求允许另一个。如果你需要搜索发现但对训练使用有不同偏好,这一点很重要。OpenAI 爬虫文档 (developers.openai.com)
测试您的页面是否因视觉问题而被引用
不要只依赖几个随意的聊天机器人提示。进行两项测试,因为模型理解和网络引用是不同的事情。
测试 1:模型是否理解视觉元素?
选择一组图表和示意图。编写依赖它们的答案的问题,例如:
- 支付之后是哪个步骤?
- 支付失败时会发生什么?
- 哪个月份的转化率最高?
- 图表显示用户流失的主要原因是什么?
然后在受控输入条件下比较模型答案:
- 仅图像。
- 图像加上其替代文本和说明文字。
- 图像加上这些注释以及页面的文本摘要或数据表。
保持模型、问题和图像不变。对答案的正确性进行评分,包括精确值和关系。这有助于显示添加的文本是否有助于模型回答您的问题。它不能显示网络搜索助手是否会找到或引用该页面。
测试 2:搜索助手是否引用该页面?
对于小型试点,请配对类似的图表密集型页面。将完整的视觉包添加到一组中;将比较组保持在其当前可访问基线。不要移除必要的替代文本来创建对照组。 准备两组问题:一组需要阅读图表,另一组是页面文本已回答的普通问题。
在您关心的搜索助手中运行相同的提示。记录日期、产品、问题、答案和被引用的页面。随着时间的推移重复检查,因为结果可能会发生变化。等待您的爬虫或搜索工具显示更新的页面已被重新抓取。谷歌指出,重新抓取可能需要数天或更长时间。(developers.google.com)
跟踪四个结果:
- 引用率: 答案多久引用一次该页面?
- 答案准确性: 助手是否正确获取了视觉事实?
- 引用支持: 被引用的页面是否真的支持答案?
- 业务结果: 访问、推荐或潜在客户是否对业务有帮助?
将视觉问题结果与普通问题对照组进行比较。简单的前后比较可能会产生误导:助手、其搜索索引和更广泛的网络可能同时发生变化。匹配的页面和重复检查会有所帮助,但小型测试仍应报告为试点,而不是普遍规则。
还要精确说明结果的含义。如果添加文本摘要后页面被引用的频率更高,则测试表明整个包起到了作用。这并不能证明助手本身读取了图像。引用仪表板可以显示哪些 URL 出现在 AI 答案中,但不一定显示读取了页面的哪个部分。例如,Bing 的 AI 性能报告会报告被引用的页面和查询信息。Bing 站长工具:AI 性能 (blogs.bing.com)
将这项工作融入您的内容系统
创始人不应该每次发布文章时都手动重写图表。但自动化也不应该凭空创造图片含义。
一个简单的工作流程是:
- 创作者提供源数据或图表,以及他们希望读者获取的要点。
- 内容工作流根据这些源材料起草替代文本、说明文字和纯文本摘要。
- 专人检查描述是否准确,以及标签、值和路径是否与视觉元素匹配。
- 页面将图像及其文本一起发布。
- 可重复的检查确认读者和爬虫都可以访问两者。
创作者的观点是不应该被自动化去除的部分。例如,创始人可能不仅想展示注册量下降,还想展示团队选择在购买更多流量之前修复第一个项目设置。这是一种观点和产品经验,而不是一项说明文字任务。
在自动化内容引擎中,创作者、受众和品味输入可以在所有文章中保留这一要点。AutoPod 利用这些输入来指导每篇文章,而工作流则处理起草说明文字和检查页面结构等可重复任务。模型可以打包洞察力。它不应该编造洞察力。
结论
支持描述性替代文本、说明文字、图表标签和附近摘要的最有力理由,并非承诺的 SEO 提升。而是它们能使视觉元素更易于理解、更易于访问,并更易于与页面的论点联系起来。
这可能也有助于助手回答视觉问题并引用页面——但效果提升并非有保证。将图表打包为证据,确保图像可抓取,并将引用与理解分开衡量。 这是一个简单系统,首先为读者创造价值,并为AI发现提供可测试的潜在优势。
Auto