Новость месячной давности, но прошла как-то мимо моего инфополя.
Венчурный капиталист Ник Давидов решил поручить ИИ-агенту Claude Cowork разобраться с файлами на рабочем столе компьютера своей жены — и получил урок, который запомнит надолго. Агент, способный выполнять действия непосредственно в операционной системе, для начала запросил разрешение удалить временные файлы Microsoft Office. Давидов согласился, не подозревая ничего плохого — и именно в этот момент всё пошло не так. Вместо мусора исчезла папка с полным фотоархивом жены за 15 лет: снимки детей, их рисунки, фотографии со свадеб друзей и путешествий. Своё объяснение ИИ уместил в одно слово — «Oops». Стандартные способы восстановления файлов не сработали: агент действовал через терминал, поэтому файлы миновали корзину, а iCloud мгновенно синхронизировал потери с облаком. Резервных копий не существовало. Ситуацию спас звонок в службу поддержки Apple — специалисты подсказали о скрытой функции iCloud Drive, позволяющей восстановить удалённые из облака файлы в течение 30 дней. «У меня чуть сердце не остановилось», — написал Давидов, наблюдая за загрузкой десятков тысяч файлов обратно. История закончилась хорошо — но могла завершиться иначе, и подобных случаев в сети становится всё больше по мере того, как люди начинают безоговорочно доверять ИИ-агентам.
Мы всё больше и больше доверяем бездушным машинам свою жизнь, но забываем о том, что они тоже ошибаются. Талеб (автор “Чёрного лебедя”) сказал, что разработка ПО уже не будет прежней. Эффективные менеджеры(с) всё больше увольняют программистов, всё больше нанимают вайбкодеров. Мы идём к тому, что нас будет окружать софт, написанный машинами, и никто из людей не будет понимать, как он работает. И когда этот код сломается - никто не будет знать, как его починить. Возможно, это произойдёт нескоро, но настолько нескоро, что “живых” программистов уже в принципе не будет. Или надеемся на то, что ИИ-программисты будут настолько хороши, что будут писать неломающийся код. Или хотя бы смогут его починить, если он всё-таки сломается.