Anthropic предупредила инвесторов, что в ближайшее время может достичь порога, при котором искусственный интеллект начнёт самостоятельно ускорять разработку новых моделей. При этом возможности систем могут расти быстрее, чем компания успевает проверять их безопасность, пишет TechCrunch.
Как ИИ помогает создавать новые модели: Anthropic всё активнее использует собственные нейросети для исследований, программирования, обучения и тестирования следующих версий моделей. Компания называет этот процесс «замыканием цикла»: каждая новая версия ИИ помогает разрабатывать последующие. Например, в сентябре 2026 года более 90% изменений в программном коде Anthropic подготовил Claude.
В чём риск: если нейросети начнут существенно ускорять разработку новых систем, инженеры могут не успевать проверять их возможности и внедрять меры безопасности. Anthropic признаёт, что раньше уже не замечала значительного ускорения развития моделей до того, как оно происходило. Кроме того, компания использует запаздывающие показатели, поэтому ей сложно заранее оценить скорость изменений.
Что компания собирается делать: Anthropic планирует изменить правила безопасности, чтобы закрепить участие человека в разработке передовых моделей. Компания также указывает, что пока не рассматривает полностью автономное создание новых поколений ИИ без существенного контроля и понимания со стороны людей, поскольку это создаёт риски.