AI започва да създава сам себе си. Къде остава човекът?

Пахоцки публикува текста на фона на представянето на новия модел на OpenAI GPT-6 Astra. В него той разглежда основните рискове пред развитието на AI – от непредсказуемото нарастване на способностите му до проблемите със сигурността и т.нар. алаймент, тоест съгласуването на поведението на моделите с човешките цели и ценности. Основното му послание е категорично: 'Настъпи време, изискващо крайна предпазливост.' Причината е, че AI вече все по-често се използва за подобряване и разработване на следващи AI модели. Така изследователите постепенно губят способността си напълно да разбират какво се случва. AI по-скоро се отглежда, отколкото се създава Пахоцки описва съвременния AI като резултат от огромно мащабиране на изчислителната мощ. Вместо всяка следваща стъпка да е резултат от фундаментален пробив, моделите се обучават отново и отново върху все по-големи количества данни и с все повече изчислителни ресурси. Затова той използва впечатляващата формулировка: 'AI по-скоро се отглежда, отколкото се създава.' Получените системи са толкова сложни, че изследователите могат да изучават отделни механизми в тях, но трудно могат да обяснят напълно цялостното им поведение. Това поставя нов проблем: ние създаваме системи, които все по-трудно можем да разберем. Когато AI започне да създава следващия AI Според Пахоцки използването на AI за разработването на още по-умни модели практически е неизбежно. Компаниите, които се откажат от това, рискуват да изостанат, включително в областта на киберсигурността. Но има и опасна страна. Когато един модел участва в създаването на следващия, човекът постепенно губи представа какво точно подобрява. Това е свързано с проблема за алаймента – как да гарантираме, че AI ще преследва човешките цели и ще се съобразява с човешките ценности, дори когато инструкциите са неясни или противоречиви. Пахоцки прави разграничение между съгласуването на целите и съгласуването на ценностите. Второто е значително по-трудно: AI трябва да може да взема разумни решения и в ситуации, за които не е получил конкретна инструкция. По думите му един наистина съгласуван AI трябва да действа честно и добросъвестно, воден дори от нещо толкова фундаментално като 'любов към човечеството'. Къде остава човекът? В края на есето Пахоцки очертава три основни цели пред OpenAI: създаване на AI 'колега', който да помага на разработчиците да решават проблема с алаймента; използване на AI за ускоряване на научния и икономическия прогрес; и създаване на силен AI, достъпен за всеки.