Čo je Chain of Thought (CoT)? Význam a príklady


Chain of Thought (CoT), v preklade reťazec uvažovania, je technika, pri ktorej AI model rieši komplexnú úlohu prostredníctvom postupných medzikrokov namiesto okamžitého vytvorenia finálnej odpovede.

Chain-of-Thought prompting môže pomôcť pri matematických, logických a analytických úlohách, pri ktorých je potrebné kombinovať viacero informácií alebo vykonať niekoľko nadväzujúcich krokov.

Dôležité je rozlišovať medzi technikou promptingu, interným uvažovaním modelu a vysvetlením, ktoré model zobrazí používateľovi. Tieto tri veci nemusia byť totožné.





Ako funguje Chain of Thought?


Pri bežnom promptingu môže model odpovedať priamo. Chain-of-Thought prompting ho vedie k tomu, aby pri riešení úlohy využíval alebo prezentoval postupné medzikroky.

Pôvodná výskumná práca z roku 2022 ukázala, že príklady obsahujúce postup riešenia môžu zlepšiť výkon veľkých jazykových modelov pri aritmetickom, symbolickom a bežnom logickom uvažovaní.

Nie každý model však reaguje na rovnaký typ zadania rovnako. Moderné reasoning modely môžu využívať interné procesy uvažovania aj bez toho, aby používateľ explicitne požadoval postupné riešenie.





Praktický príklad Chain-of-Thought promptu


Chceme vypočítať cenu produktu po dvoch po sebe nasledujúcich zľavách.

Bežný prompt:

Produkt stojí 200 €. Najskôr dostane zľavu 20 % a následne ďalšiu zľavu 10 %. Aká je konečná cena?

Prompt s požiadavkou na postupné riešenie:

Produkt stojí 200 €. Najskôr dostane zľavu 20 % a následne ďalšiu zľavu 10 %.

Vypočítaj konečnú cenu. Uveď vzorec, medzivýsledky a krátke vysvetlenie, ako sa jednotlivé zľavy aplikujú.

Očakávané vysvetlenie:

  1. Prvá zľava: 200 × 0,20 = 40 €.
  2. Cena po prvej zľave: 200 − 40 = 160 €.
  3. Druhá zľava: 160 × 0,10 = 16 €.
  4. Konečná cena: 160 − 16 = 144 €.

Výsledok: 144 €.

Takéto vysvetlenie pomáha používateľovi overiť matematický postup. Neznamená však, že zobrazený text predstavuje doslovný záznam interného uvažovania modelu.





Typy Chain-of-Thought promptingu


Zero-shot Chain of Thought: model nedostane ukážkové riešenia. Zadanie ho vyzýva na systematické spracovanie úlohy, napríklad pomocou vysvetlenia krokov alebo uvedenia overiteľných medzivýsledkov.

Few-shot Chain of Thought: model dostane niekoľko príkladov, ktoré obsahujú zadanie, postup riešenia a výsledok. Na ich základe môže spracovať novú úlohu podobným spôsobom.

Rozdiel spočíva v tom, či model dostáva iba inštrukciu, alebo aj ukážkové postupy riešenia.

Chain of Thought preto súvisí s technikami zero-shot promptingu a few-shot promptingu, ale zameriava sa na postup riešenia, nielen na formát výsledku.





Chain of Thought a AI reasoning – aký je rozdiel?


Chain-of-Thought prompting je technika, ktorá pomocou inštrukcií alebo príkladov podporuje postupné riešenie úlohy.

AI reasoning je širší pojem opisujúci schopnosť modelu pracovať s komplexnými problémami, analyzovať súvislosti, plánovať a vytvárať závery.

Niektoré reasoning modely používajú interné medzikroky, ktoré nie sú používateľovi priamo dostupné. Model môže namiesto nich poskytnúť iba stručné vysvetlenie alebo zhrnutie výsledku.

Preto nie je správne predpokladať, že požiadavka „premýšľaj krok za krokom“ vždy zlepší presnosť alebo sprístupní skutočný proces uvažovania AI.





Výhody Chain of Thought


  • Riešenie komplexných úloh: postupné medzikroky môžu pomôcť pri problémoch vyžadujúcich viacero operácií.
  • Overiteľnosť výsledkov: uvedené vzorce, výpočty a predpoklady umožňujú jednoduchšiu kontrolu.
  • Štruktúrovaná analýza: rozdelenie problému na časti môže zlepšiť organizáciu odpovede.
  • Praktické využitie: technika je použiteľná pri matematike, programovaní, analytike alebo plánovaní.

Výhody závisia od konkrétneho modelu a typu úlohy. Dlhšie vysvetlenie samo osebe neznamená presnejšiu odpoveď.





Na čo si dať pozor?


Nesprávne medzikroky: model môže vytvoriť logicky pôsobiaci postup, ktorý obsahuje chyby.

Vernosť vysvetlenia: vygenerované vysvetlenie nemusí presne opisovať faktory, ktoré ovplyvnili výsledok. Tento problém potvrdzuje aj výskum zameraný na faithfulness Chain of Thought.

Moderné reasoning modely: explicitné požadovanie dlhého postupu nemusí priniesť lepší výsledok. Vhodnejšie môže byť presné zadanie cieľa a kritérií.

Náklady: dlhšie vstupy a výstupy môžu zvýšiť počet spracovaných tokenov, cenu a latenciu.

Citlivé údaje: pri práci s internými dokumentmi a dôvernými informáciami treba dodržiavať bezpečnostné pravidlá a oprávnenia.

Testovanie: výsledky overujte na reprezentatívnych úlohách. Samotné vysvetlenie modelu nie je dôkazom správnosti.





Kedy používať Chain of Thought?


Chain of Thought má zmysel najmä pri úlohách, pri ktorých je dôležité správne vykonať viacero nadväzujúcich krokov alebo overiť jednotlivé predpoklady.

Pri jednoduchom získavaní informácií, preklade alebo krátkej klasifikácii nemusí byť potrebné požadovať podrobný postup.

Pri moderných reasoning modeloch odporúčame najskôr presne opísať cieľ, poskytnúť relevantný kontext a určiť očakávaný formát odpovede. Ak potrebujete výsledok kontrolovať, požiadajte o konkrétne výpočty, použité predpoklady alebo odkazy na zdroje.

Efektivitu porovnávajte na testovacích zadaniach, nie iba podľa toho, ako presvedčivo model vysvetľuje svoju odpoveď.





Chain of Thought a transparentnosť AI


Chain of Thought sa často spája s vysvetliteľnosťou umelej inteligencie. Viditeľný postup riešenia však nie je automaticky spoľahlivým dôkazom toho, ako model skutočne dospel k odpovedi.

Výskum ukazuje, že jazykové modely môžu vytvárať vierohodné vysvetlenia, ktoré nezachytávajú všetky faktory ovplyvňujúce ich rozhodnutie.

V podnikových aplikáciách preto odporúčame kombinovať vysvetlenia s nezávislou validáciou výsledkov, auditnými záznamami, kontrolou zdrojov a primeraným ľudským dohľadom.