Multimodaalne valmisolek: pildid, alt-tekst ja diagrammid, mida mudelid saavad viidata

Multimodaalne valmisolek: pildid, alt-tekst ja diagrammid, mida mudelid saavad viidata

Autor: Lukas Richter, vanem sisuloome automatiseerimise strateeg

Diagramm suudab sekunditega selgitada seda, mille kirjeldamiseks kuluks leheküljel teksti minuteid. Kuid kui selle tähendus eksisteerib ainult pildifailis, siis paljud lugejad – ja paljud otsingusüsteemid – võivad mõttest ilma jääda.

Seepärast ei tähenda multimodaalne valmisolek lihtsalt rohkem piltide lisamist. See tähendab iga kasuliku visuaali pakendamist nii, et selle tähendus oleks selge nii pildil, lehe tekstis kui ka koodis, mis need kaks ühendab.

On olemas üks oluline piirang: hea alt-tekst võib aidata süsteemil pildist aru saada, kuid see ei garanteeri, et AI-assistent lehele viitab. Pildist arusaamine ja veebilehe allikana valimine on erinevad sammud.

Mida uuringud näitavad – ja mida mitte

Pildiallkirjad võivad aidata visuaalsete küsimustega

Mõned uuringud näitavad, et tekst, mis on pildiga seotud, aitab mudelil selle kohta käivatele küsimustele vastata. 2019. aasta uuring leidis, et lõigustiilis pildiallkirjade lisamine piltidele parandas visuaalse küsimustele vastamise ülesande sooritust. Pildiallkirjad andsid detaile, mida oli lihtsam küsimusega sobitada kui ainult pildiomadusi. Kuid see oli mudelieksperiment – mitte test selle kohta, kas alt-teksti lisamine elavale veebilehele suurendab AI-viiteid. ACL Anthology paber (aclanthology.org)

Diagramme ja jooniseid on mudelitel endiselt raske täpselt lugeda. Ühes diagrammi-küsimuste võrdlusuuringus leidsid teadlased nõrkusi ülesannetes, nagu väärtuste vaheliste seoste leidmine. Nende tulemused paranesid spetsiaalse tekstikäsu abil, mis viitab selge keele väärtusele – kuid ei tõesta, et ükski leheformaat teenib rohkem viiteid. ChartInsights võrdlusuuring (arxiv.org)

Laiem õppetund on praktiline: visuaal võib sisaldada kasulikku tõestust, kuid mudelid võivad siiski mööda vaadata väikestest siltidest, täpsetest väärtustest või sammude vahelisest teest. OpenAI visioonijuhend näiteks hoiatab väikese teksti, diagrammide, värvikoodiga elementide ja täpse ruumilise põhjenduse eest. OpenAI visioonijuhend (developers.openai.com)

Parem alt-tekst ei ole viitamise automaatne tagaja

Otsingusüsteemid võivad kasutada pildikirjeldusi ja ümbritsevat teksti, et mõista, mida pilt näitab. Google ütleb, et ta kasutab otsingupiltide mõistmiseks koos alt-teksti, arvutinägemist ja lehe sisu. Samuti soovitab ta paigutada pilte asjakohase teksti lähedale. See toetab kasuliku alt-teksti kirjutamist, kuid see ei tõesta, et alt-tekst iseenesest paneks AI-assistendi lehele viitama. Google'i piltide SEO juhised (developers.google.com)

Selle artikli jaoks läbi vaadatud tõendid ei kinnita, et ainult alt-teksti muutmine tõstaks viitamismäärasid praeguste AI-assistentide puhul. Paljud süsteemid ei selgita täpselt, milliseid lehe elemente nad loevad või miks nad üht allikat teisele eelistavad. Google ütleb, et tema AI otsingufunktsioonidel ei ole spetsiaalset märgendusnõuet ega garanteeri, et sobiv leht kuvatakse. Google'i AI funktsioonide juhised (developers.google.com)

Nii et käsitlege täiustatud visuaalset pakendamist kui mõistlikku, testitavat hüpoteesi, mitte lubadust. See võib muuta lehe lihtsamini kasutatavaks, lihtsamini parsitavaks ja tõenäolisemaks, et see sisaldab teksti, mis vastab otse küsimusele. Kas assistent siis lehele viitab, on eraldi tulemus, mida mõõta.

Pakendage iga oluline visuaal tõendina

Tugeval visuaalsel pakendil on neli osa: pilt, lühike alt-tekst, pealkiri ja läheduses olev tekstiline selgitus. Igal osal on erinev ülesanne.

1. Kirjutage alt-tekst lühikese asendajana

Alt-tekst peaks andma lugejatele, kes pilti ei näe, vajaliku teabe, et lehega kaasas käia. Lihtsa diagrammi puhul võib see mahtuda ühte lausesse. Keerulise graafiku või vooskeemi puhul peaks alt-tekst identifitseerima visuaali ja selle peamise eesmärgi, mitte suruma iga detaili ühte pikka kirjeldusse.

Näiteks:

alt="Checkout flow with a retry path after payment failure."

Dekoratiivse pildi puhul kasutage tühja alt-teksti (alt=""), et abivahendid saaksid selle vahele jätta. Ärge jätke alt-teksti välja ja ärge täitke seda korduvate otsinguterminitega. W3C keeruliste piltide juhised ja Google'i piltide juhised eristavad lühikesi tekstialternatiive täielikumatest kirjeldustest. (w3.org)

2. Kasutage pealkirja, et väljendada joonise mõtet

Pealkiri peaks aitama lugejal mõista, miks pilt on oluline. Silt nagu „Arhitektuuri diagramm“ on tavaliselt liiga ebamäärane.

Kasulikum pealkiri on:

Joonis 1. Ebaõnnestunud makse saadab ostja tagasi makse juurde; ostukorv jääb avatuks.

Kasutage HTML-i elemente <figure> ja <figcaption>, et ühendada pealkiri pildiga. Selge joonise number või nimi muudab ka sama visuaali artikli tekstis viitamise lihtsamaks. Google'i dokumentatsiooni stiilijuhend annab näiteid joonistest koos alt-teksti, pealkirjade ja pikemate kirjeldustega. (developers.google.com)

3. Lisage täielik selgitus lehele

Keeruline diagramm ütleb tavaliselt rohkem, kui lühike alt-kirjeldus suudab. Lisage oluline tähendus ka tavalisse leheteksti. Vooskeemi puhul kirjeldage samme ja seda, mis igas harus toimub. Diagrammi puhul lisage ajaperiood, ühikud, põhiväärtused ja suundumus. Tehnilise diagrammi puhul nimetage osad ja selgitage, kuidas need ühenduvad.

W3C soovitab keeruliste piltide puhul lühikest kirjeldust pluss täielikumat tekstikirjeldust. See täielikum kirjeldus võib olla artiklis endas, pildi lähedal ja kõigile lugejatele kättesaadav. Andmetabel võib aidata, kui täpsed väärtused on olulised. W3C WAI: Keerulised pildid (w3.org)

4. Hoidke nimed ja sildid järjepidevad

Kui teie diagramm nimetab midagi „aktiveerimiseks“, kasutage sama sõna pealkirjas ja artiklis. Kui joonis näitab olulist tulemust, öelge see lähedalasuvas lauses: „Joonisel 2 langeb enamik registreerumisi välja enne esimese projekti loomist.“

See ei ole maagiline viitamistrikk. See on viis muuta lehe tõendid lihtsamini jälgitavaks ja tsiteeritavaks. Google ütleb, et AI ülevaadete või AI-režiimi jaoks pole spetsiaalset skeemi; kasulik töö on olulise sisu hoidmine tekstis ja struktureeritud andmete sobitamine sellega, mida inimesed näevad. (developers.google.com)

Siin on lihtne vooskeemi muster:

html

The key point in the checkout flow is that a payment failure does not clear the cart.

Figure 1 in words: Cart → shipping → payment → confirmation. If payment fails, the shopper returns to payment and keeps the cart.

Lühike alt-tekst identifitseerib diagrammi. Pealkiri annab selle peamise mõtte. Viimane lause selgitab teekonda lihttekstina. Diagrammi puhul, millel on täpsed väärtused, lisage ka nende väärtuste tabel või loetelu.

Veenduge, et roomikud saaksid pildi kätte

Hästi kirjeldatud pilt peab endiselt olema kättesaadav. Kasutage tavalist HTML <img> elementi reaalse src URL-iga. Google ütleb, et ta leiab pilte <img> elemendi src kaudu, kuid ta ei indekseeri CSS-i taustapilte samal viisil. Tema pildijuhised toetavad ka CDN-is hostitud pilte pildi-sitemappides. Google'i piltide SEO juhised (developers.google.com)

CDN-i puhul kontrollige põhiasju:

• Pildi URL töötab ilma sisselogimiseta või aegumata ligipääsutokenita.
• Lehe roomiku load ja CDN-i turvareeglid lubavad mõlemad ligipääsu.
• Renderdatud lehel olev pildi URL on stabiilne ja tagastab õige faili.
• Responsiiivsed pildid sisaldavad varu src-i.
• Oluline tekst ei ole peidetud pildile, kui see võiks olla reaalne lehe tekst.
• Voldist allpool olevad pildid laadivad siis, kui need nähtavaks muutuvad – mitte ainult pärast seda, kui inimene klõpsab või kerib viisil, mida roomik ei suuda reprodutseerida.

Google'i laisklaadimise juhised ütlevad, et pildi URL-id peaksid ilmuma renderdatud HTML-is ja laadima, kui need vaatevälja jõuavad. Samuti hoiatatakse laisklaadimise eest piltide puhul, mis on lehe avamisel juba nähtavad. Google'i laisklaadimise juhised (developers.google.com)

Kontrollige ka platvormi õigusi. OpenAI dokumenteerib OAI-SearchBot-i kui oma otsinguroomikut ja ütleb, et see on eraldi GPTBot-ist, mis on seotud treeningandmetega. Ühe lubamine ei nõua teise lubamist. See on oluline, kui soovite otsingust leitavust, kuid teil on erinevad eelistused treeningkasutuse osas. OpenAI roomiku dokumentatsioon (developers.openai.com)

Testige, kas teie lehtedele viidatakse visuaalsete küsimuste puhul

Ärge toetuge mõnele juhuslikule vestlusboti käsule. Tehke kaks testi, sest mudeli mõistmine ja veebiviitamine ei ole sama asi.

Test 1: Kas mudel mõistab visuaali?

Valige hulk graafikuid ja diagramme. Kirjutage küsimused, mille vastused neist sõltuvad, näiteks:

• Milline samm järgneb maksele?
• Mis juhtub, kui makse ebaõnnestub?
• Millisel kuul oli kõrgeim konversioonimäär?
• Mida ütleb diagramm kasutajate väljalangemise peamise põhjusena?

Seejärel võrrelge mudeli vastuseid kontrollitud sisendtingimustes:

1. Ainult pilt.
2. Pilt koos alt-teksti ja pealkirjaga.
3. Pilt koos nende märkuste ja lehe tekstikokkuvõtte või andmetabeliga.

Hoidke mudel, küsimus ja pilt samana. Hinnake vastuste õigsust, sealhulgas täpseid väärtusi ja seoseid. See aitab näidata, kas lisatud tekst aitab mudelil vastata teie küsimustele. See ei näita, kas veebiotsingu assistent leiab või viitab lehele.

Test 2: Kas otsinguassistent viitab lehele?

Väikese pilootprojekti jaoks paigutage kokku sarnased diagrammidega lehed. Lisage ühele rühmale täielik visuaalne pakett; jätke võrdlusrühm selle praegusele ligipääsetavale baastasemele. Ärge eemaldage olulist alt-teksti kontrollrühma loomiseks. Valmistage ette kaks küsimuste komplekti: ühed, mis nõuavad joonise lugemist, ja tavalised küsimused, millele lehe tekst juba vastab.

Käivitage samad käsud otsinguassistentides, mis teid huvitavad. Salvestage kuupäev, toode, küsimus, vastus ja viidatud leht. Korrake kontrolle aja jooksul, sest tulemused võivad muutuda. Oodake, kuni teie roomik või otsingutööriistad näitavad, et uuendatud lehed on uuesti läbi roomatud. Google märgib, et uuesti roomamine võib võtta päevi või kauem. (developers.google.com)

Jälgige nelja tulemust:

• Viitamismäär: Kui tihti vastus lehele viitab?
• Vastuse täpsus: Kas assistent sai visuaalse fakti õigesti?
• Viite tugi: Kas viidatud leht tegelikult toetab vastust?
• Äritulemus: Kas külastus, suunamine või müügivihje aitas ettevõtet?

Võrrelge visuaalküsimuste tulemusi tavaküsimuste kontrollrühmaga. Lihtne enne-ja-pärast võrdlus võib olla eksitav: assistent, selle otsingindeks ja laiem veeb võivad kõik korraga muutuda. Sobitatud lehed ja korduvad kontrollid aitavad, kuid väike test tuleks siiski esitada pilootprojektina, mitte universaalse reeglina.

Olge ka täpne selles, mida tulemus tähendab. Kui lehele viidatakse sagedamini pärast tekstikokkuvõtte lisamist, näitab test, et terve pakett aitas. See ei tõesta, et assistent luges pilti ennast. Viitamise armatuurlauad võivad näidata, millised URL-id ilmuvad AI vastustes, kuid mitte tingimata, millist osa lehest loeti. Bingi AI jõudluse aruanne näiteks teatab viidatud lehtedest ja päringuteabest. Bing Webmaster Tools: AI jõudlus (blogs.bing.com)

Integreerige töö oma sisusüsteemi

Asutajad ei peaks iga kord artikli avaldamisel diagrammi käsitsi ümber kirjutama. Kuid automatiseerimine ei tohiks välja mõelda, mida pilt tähendab.

Lihtne töövoog on:

1. Looja annab algandmed või diagrammi, lisaks peamise mõtte, mida nad tahavad, et lugeja kaasa võtaks.
2. Sisutöövoog koostab nendest algmaterjalidest alt-teksti, pealkirja ja lihtteksti kokkuvõtte.
3. Inimene kontrollib, et kirjeldus on täpne ning sildid, väärtused ja teed vastavad visuaalile.
4. Leht avaldab pildi ja selle teksti koos.
5. Korratav kontroll kinnitab, et lugejad ja roomikud pääsevad mõlemale ligi.

Looja mõte on see osa, mida ei tohiks automatiseerida. Näiteks võib asutaja tahta näidata mitte ainult seda, et registreerumiste arv langeb, vaid et meeskond otsustas parandada esimese projekti seadistuse enne, kui ostab rohkem liiklust. See on arvamus ja toote õppetund, mitte pealkirjastamise ülesanne.

Automatiseeritud sisumootoris saavad Looja, Publik ja Eelistused sisendid säilitada selle mõtte artiklite vahel. AutoPod kasutab neid sisendeid iga artikli suunamiseks, samal ajal kui töövoog tegeleb korduvate ülesannetega, nagu pealkirjade koostamine ja lehe struktuuri kontrollimine. Mudel saab pakkida sissevaate. See ei tohiks sissevaadet välja mõelda.

Järeldus

Kõige tugevam argument kirjeldava alt-teksti, pealkirjade, joonise siltide ja lähedal asuvate kokkuvõtete kasuks ei ole lubatud SEO tõus. See seisneb selles, et need muudavad visuaali lihtsamini arusaadavaks, lihtsamini ligipääsetavaks ja lihtsamini lehe argumendiga seostatavaks.

See võib aidata ka assistendil vastata visuaalsele küsimusele ja viidata lehele – kuid tõusu ei ole garanteeritud. Pakendage diagrammid tõenditena, tehke pilt kättesaadavaks ja mõõtke viiteid arusaamisest eraldi. See on lihtne süsteem, mis pakub esmalt väärtust lugejatele ja testitavat potentsiaali AI avastuste jaoks.