Semi-supervised vs. Reinforced learning: Rozdíl a srovnání

Data produkovaná po celém světě jsou dnes obrovská. Tyto informace nevytvářejí jen lidé, ale také chytré telefony, počítače a další elektronická zařízení.

Programátor by si nepochybně vybral, jak trénovat algoritmus, který využívá specifický model učení založený na typu dostupných dat a nabízené pobídce.   

Key Takeaways

1. Semi-supervised learning je typ strojového učení, kde je model trénován na označených a neoznačených datech. Naproti tomu posilovací učení je typ strojového učení, kde se model učí rozhodovat na základě odměn a trestů.
2. Semi-supervised learning je vhodnější pro úlohy, kde jsou označená data vzácná nebo drahá, zatímco posilovací učení je vhodnější pro úlohy, kde optimální řešení není předem známo.
3. Semi-supervised learning se používá při zpracování přirozeného jazyka a klasifikaci obrazu, zatímco posilovací učení se používá v robotice a hraní her.

Semi-supervised vs. Posílení učení    

Semi-supervised learning je a strojové učení metoda. V této metodě jsou označená a neoznačená data kombinována dohromady. V této kombinaci je množství označených dat malé a množství neoznačených dat velké. Posílení učení je algoritmus učení založený na systému odměn. Posílení může být pozitivní nebo negativní.

Semi-supervised learning leží někde mezi Supervised a Nerušené učení algoritmy. Využívá směs označených a neoznačených datových sad.

Pracuje s daty, která mají pouze několik štítků; pracuje s neoznačenými daty. Štítky jsou drahé, ale pro firemní účely může stačit několik štítků.    

Posílené učení je pouze přístup strojového učení, který odměňuje pozitivní chování a zároveň penalizuje špatné chování.

Obecně platí, že posilovací učební agent je schopen vnímat a interpretovat své prostředí, jednat a učit se pomocí pokusů a omylů.

Vývojáři posilovacího učení navrhují způsob, jak odměňovat žádoucí chování a trestat negativní chování.    

Srovnávací tabulka   

Parametry srovnání	Semi-supervised learning	Posílení učení
Definice	Používá malé množství označených dat k posílení větší sady neoznačených dat	Algoritmus se systémem odměn
Cíl	Vyrovnat se s nevýhodami učení pod dohledem a bez dozoru.	Naučit se sérii akcí
Interakce agenta	Neinteraguje	Interaguje
Praktická aplikace	Analýza řeči, klasifikace obsahu internetu	Optimalizace trajektorie, plánování pohybu
Štítky	Má štítky.	Nemá štítky.

Co je polosupervizované učení?   

Semi-supervised learning je metoda strojového učení, při které se během školení kombinuje malé množství označených dat se sadou neoznačených dat.

Je to typ učení, který existuje mezi učením bez dozoru a učením pod dohledem. Je to extrémní případ špatného dohledu.   

Dataset musí být znovu ručně anotován inženýrem strojového učení nebo datovým vědcem, což je nejdůležitější nevýhoda jakékoli techniky supervizovaného učení.

Jedná se o velmi nákladnou operaci, zejména při práci s velkým množstvím dat. Nejzásadnější nevýhodou jakékoli metody nekontrolovaného učení je její úzký rozsah použitelnosti.   

Klasifikátor textových dokumentů je častou aplikací polořízeného učení. Protože by za těchto okolností bylo prakticky nemožné najít velké množství tagovaných textových dokumentů, je ideální výuka s částečným dohledem.

To je jednoduše způsobeno neefektivitou toho, že někdo čte fulltextové dokumenty pouze za účelem přiřazení jednoduché klasifikace.   

Nejzásadnější nevýhodou jakékoli techniky supervizovaného učení je to, že datovou sadu musí strojní učení ručně označit.

Jedná se o extrémně nákladnou operaci, zejména při práci s velkým množstvím dat. Nejzásadnější nevýhodou téměř jakéhokoli nekontrolovaného učení je jeho úzký rozsah použití.  

Lidské odpovědi na formální výukové úkoly s částečným dohledem přinesly řadu výsledků, pokud jde o stupeň účinku neoznačeného materiálu.

Semi-supervised learning může být také použit k přirozenějším problémům učení. Podstatná část získávání lidských nápadů kombinuje omezený kousek přímé výuky spárovaný s obrovským množstvím neoznačených zkušeností.  

Problémy s učením tohoto druhu se těžko řeší. V důsledku toho jsou vyžadovány algoritmy učení s částečným dohledem s konkrétními funkcemi.   

Co je posilovací učení?   

Zatímco posilující učení vzbudilo v oblasti umělé inteligence mnoho zvědavců, jeho rozšířené přijetí a využití v reálném světě zůstává omezené. Navzdory tomu existuje mnoho výzkumných prací o teoretických aplikacích a bylo zaznamenáno několik úspěšných případů použití.   

Pro získání ideálního řešení je agent naprogramován tak, aby hledal dlouhodobou a nejvyšší celkovou návratnost.   

Tyto dlouhodobé cíle brání agentovi, aby se zastavil u krátkodobých cílů. Agent se postupně učí vyhýbat negativnímu a hledat pozitivní. Tato strategie učení byla použita v umělé inteligenci k řízení strojového učení bez dozoru pomocí odměn a sankcí.   

Postupné rozhodování je zásadní pro posílení učení. Jednoduše řečeno, o výstupu rozhoduje stav aktuálního vstupu a o dalším vstupu rozhoduje výstup předchozího vstupu.   

Protože úsudky v posilovacím učení zůstávají závislé, pojmenováváme závislé rozhodovací sekvence.   

Existují dva druhy posílení, a to pozitivní a negativní. K pozitivnímu posílení dochází, když událost, která nastane v důsledku určitého chování, zlepší sílu a frekvenci chování. Jinými slovy, pozitivně ovlivňuje chování. Negativní posílení je definováno jako posílení chování v důsledku ukončení nebo zamezení negativních okolností.   

Umělá inteligence je v posilovacím učení umístěna do herního prostředí. Počítač používá pokusy a omyly k nalezení řešení problému. Aby umělá inteligence přesvědčila počítač, aby udělal to, co si programátor přeje, je odměňována nebo potrestána za činy, které dělá. Jeho cílem je maximalizovat celkovou návratnost.   

Hlavní rozdíly mezi polosupervizovaným a posilovacím učením   

1. Semi-supervised learning používá označená data k posílení neoznačených dat, zatímco při posilování učení nastavujete systém odměn pro algoritmus.   
2. Hlavním účelem učení s částečným dohledem je čelit všem nevýhodám jiných učebních procesů a hlavním účelem posilování učení je naučit se akce efektivněji.   
3. Učení pod dohledem neinteraguje s agentem. Posílení učení interaguje s agentem. 
4. V technice zesílení, akce provedené agentem ovlivňují rozložení stavů, které bude v budoucnu pozorovat. Toto není případ standardního (polo)supervised learningového problému.   
5. V posilovacím učení neexistují žádné štítky, zatímco v učení se zčásti pod dohledem existují.   

Reference

1. https://arxiv.org/abs/1612.00429    

Poslední aktualizace: 25. listopadu 2023