В ходе исследования было выявлено, что большие языковые модели сталкиваются с проблемами при решении сложных задач, создавая код, который чаще всего оказывается ошибочным. Команда ученых разработала даже таксономию багов, разделив их на три категории и 12 подкатегорий. И как будто этого недостаточно, LLMs настолько уверены в своей правоте, что исправляют свои ошибки с успехом в 29,2% случаев только после двух итераций самокритики.
Так что если ваш код, сгенерированный ИИ, напоминает головоломку, не расстраивайтесь. Просто вспомните, что даже искусственный интеллект нуждается в хорошей порции критики и правок.
