Напівконтрольоване та навчання з підкріпленням: різниця та порівняння

Дані, що збираються сьогодні по всьому світу, величезні. Цю інформацію створюють не лише люди, а й смартфони, комп’ютери та інші електронні пристрої.

Програміст, безсумнівно, вибере, як навчити алгоритм, який використовує конкретну модель навчання на основі типу доступних даних і запропонованого стимулу.   

Ключові винесення

1. Напівкероване навчання – це тип машинного навчання, де модель навчається на позначених і не позначених даних. Навпаки, навчання з підкріпленням — це тип машинного навчання, де модель вчиться приймати рішення на основі винагород і покарань.
2. Напівконтрольоване навчання більше підходить для завдань, де позначені дані є дефіцитними або дорогими, тоді як навчання з підкріпленням більше підходить для завдань, де оптимальне рішення невідоме заздалегідь.
3. Напівкероване навчання використовується для обробки природної мови та класифікації зображень, тоді як навчання з підкріпленням використовується в робототехніці та іграх.

Навчання з частковим контролем проти навчання з підкріпленням    

Навчання під напівконтролем - це a навчання за допомогою машини метод. У цьому методі позначені та немарковані дані поєднуються разом. У цій комбінації кількість позначених даних невелика, а кількість не позначених даних велика. Підсилення навчання це алгоритм навчання, заснований на системі винагород. Підкріплення може бути позитивним або негативним.

Напівконтрольоване навчання знаходиться десь між контролем і Непідконтрольне навчання алгоритми. Він використовує поєднання позначених і не позначених наборів даних.

Він працює з даними, які мають лише кілька міток; він працює з даними без міток. Етикетки дорогі, але для корпоративних цілей може бути достатньо кількох етикеток.    

Навчання з підкріпленням — це лише підхід машинного навчання, який винагороджує позитивну поведінку, одночасно караючи погану.

Загалом агент навчання з підкріпленням здатний відчувати та інтерпретувати своє оточення, діяти та навчатися методом проб і помилок.

Розробники навчання з підкріпленням пропонують спосіб винагороди за бажану поведінку та покарання за негативну поведінку.    

Таблиця порівняння   

Параметри порівняння	Навчання під наглядом	Навчання зміцненню
Визначення	Використовує невелику кількість позначених даних, збільшуючи більший набір не позначених даних	Алгоритм із системою винагород
Мета	Щоб усунути недоліки навчання під наглядом і без нього.	Вивчити ряд дій
Взаємодія агента	Не взаємодіє	Взаємодіє
Практичне застосування	Аналіз мовлення, класифікація інтернет-контенту	Оптимізація траєкторії, планування руху
етикетки	Має етикетки.	Він не має міток.

Що таке напівконтрольоване навчання?   

Напівкероване навчання — це метод машинного навчання, у якому невелика кількість позначених даних поєднується з набором непозначених під час навчання.

Це тип навчання, який існує між неконтрольованим навчанням і навчанням під контролем. Це крайній випадок поганого нагляду.   

Інженер з машинного навчання або фахівець із обробки даних має знову вручну анотувати набір даних, що є найважливішим недоліком будь-якої методики навчання під керівництвом.

Це дуже дорога операція, особливо при роботі з великими обсягами даних. Основним недоліком будь-якого методу неконтрольованого навчання є його вузька сфера застосування.   

Класифікатор текстових документів є частим застосуванням напівконтрольованого навчання. Оскільки за таких обставин було б практично неможливо знайти велику кількість текстових документів з тегами, ідеальним є напівконтрольоване навчання.

Це просто через неефективність того, щоб хтось читав повнотекстові документи лише для призначення простої класифікації.   

Найфундаментальнішим недоліком будь-якої методики навчання під наглядом є те, що набір даних повинен бути вручну позначений машинним навчанням.

Це надзвичайно дорога операція, особливо при роботі з великими обсягами даних. Основним недоліком майже будь-якого неконтрольованого навчання є його вузький діапазон застосування.  

Відповіді людини на формальні напівконтрольовані навчальні завдання дали різноманітні результати щодо ступеня впливу немаркованого матеріалу.

Напівконтрольоване навчання також можна використовувати для більш природних проблем навчання. Значна частина людського здобуття ідей поєднує в собі обмежену частину прямого навчання в поєднанні з величезною кількістю непозначеного досвіду.  

Проблеми з навчанням такого роду важко вирішити. У результаті потрібні напівкеровані алгоритми навчання з певними функціями.   

Що таке навчання з підкріпленням?   

Хоча навчання з підкріпленням викликало цікавість багатьох у сфері штучного інтелекту, його широке визнання та використання в реальному світі залишається обмеженим. Незважаючи на це, є велика кількість дослідницьких статей про теоретичне застосування, і було кілька успішних випадків використання.   

Щоб отримати ідеальне рішення, агент програмується на пошук довгострокової та найбільшої загальної прибутковості.   

Ці довгострокові цілі не дозволяють агенту зупинятися на короткострокових цілях. Агент поступово вчиться уникати негативу і шукати позитив. Цю стратегію навчання використовували в системі штучного інтелекту для управління неконтрольованим машинним навчанням за допомогою винагород і покарань.   

Послідовне прийняття рішень має важливе значення для навчання з підкріпленням. Простіше кажучи, вихід визначається станом поточного входу, а наступний вхід визначається виходом попереднього входу.   

Оскільки судження в навчанні з підкріпленням залишаються залежними, ми називаємо залежні послідовності рішень.   

Існує два види підкріплення, а саме позитивне та негативне підкріплення. Позитивне підкріплення відбувається, коли подія, яка відбувається в результаті певної поведінки, покращує силу та частоту поведінки. Іншими словами, це позитивно впливає на поведінку. Негативне підкріплення визначається як посилення поведінки в результаті припинення або уникнення негативних обставин.   

Під час навчання з підкріпленням штучний інтелект поміщається в ігрове середовище. Комп’ютер методом проб і помилок знаходить рішення проблеми. Щоб переконати комп’ютер робити те, що хоче програміст, штучний інтелект винагороджується або карається за вчинені дії. Його метою є максимізація повного прибутку.   

Основні відмінності між напівконтрольованим навчанням і навчанням з підкріпленням   

1. Напівконтрольоване навчання використовує позначені дані для посилення немаркованих даних, тоді як під час навчання з підкріпленням ви встановлюєте систему винагороди для алгоритму.   
2. Основна мета напівконтрольованого навчання — усунути всі недоліки інших процесів навчання, а головна мета навчання з підкріпленням — більш ефективне навчання діям.   
3. Напівкероване навчання не взаємодіє з агентом. Навчання з підкріпленням дійсно взаємодіє з агентом. 
4. У техніці підкріплення дії, які виконує агент, впливають на розподіл станів, які він спостерігатиме в майбутньому. Це не так у стандартній (напів)контрольованій проблемі навчання.   
5. У навчанні з підкріпленням немає ярликів, тоді як у напівконтрольованому навчанні є.   

посилання

1. https://arxiv.org/abs/1612.00429    

Останнє оновлення: 25 листопада 2023 р