Anthropic показала, как Claude делает точные научные расчёты

Физик Мэтью Шварц из Гарвардского университета, сейчас также приглашённый исследователь в Anthropic, описал в гостевом посте для компании новый подход к использованию ИИ в науке. Вместо того чтобы применять Claude как исследователя-человека, он начал искать «задачи формы Claude» — задачи, которые используют сильные стороны современных моделей. Так появился BootLoops — open-source-инструмент для точных научных расчётов, код доступен на GitHub.

Шварц объясняет свою идею через понятие «выпуклой оболочки»: человеческие знания фрагментированы, отдельные области развиваются в разных направлениях, а пробелы между ними остаются неизученными. Лаборатория может 20 лет изучать один набор генов одним методом, не трогая соседние гены и альтернативные подходы. Инструмент вроде BootLoops должен заполнять эти пробелы, выстраивая связи между разрозненными границами знаний.

Результаты за три месяца

За три месяца команда подготовила 36 рукописей в 18 областях с 19 соавторами. Шварц начал с расчётов в физике элементарных частиц — амплитуд рассеяния и эллиптических интегралов. За несколько недель Claude с помощью BootLoops вычислил 30 интегралов: часть воспроизвела известные результаты, часть была посчитана впервые.

В экологии Claude решил уравнение из теории нейтральной биогеографии, которое не удавалось вычислить в масштабе 20 лет. При применении к данным результаты показали, что состав видов деревьев на острове Барро-Колорадо в Панамском канале меняется в 4,5 раза быстрее, чем допускает теория. Эколог Джеймс О'Дуайер помог превратить находку в улучшенную прогнозную модель.

В популяционной генетике команда проанализировала 5,7 млрд пар мутаций из проекта 1000 Genomes и нашла свидетельства механизма, называемого генной конверсией. Среди других проектов — ИИ-редактор данных для экономических журналов, автоматически проверивший 4 452 пакета репликации (опубликовано как NBER Working Paper), и база данных ударений для 6 072 языков, созданная с тремя лингвистами.

Ограничения и предостережения

Шварц предупреждает и о слабостях моделей. Claude склонен объявлять победу слишком рано: фразы вроде «готово, со звёздочкой» часто означают «не готово вообще». Модель неверно оценивает время выполнения задач и тяготеет к перебору вычислений вместо более изящных решений. Автоматические проверки ненадёжны, а выводы Claude могут быть ошибочными даже при правильных расчётах. Кроме того, модель тянется к старым, часто цитируемым дискуссиям, а не к действительно новым вопросам.

Шварц отмечает, что проекты требовали много вычислений и токенов. Он также считает рискованным фокус на больших математических задачах и громких заголовках: нереалистичные ожидания могут отвлечь от продуктивных применений, которые работают уже сейчас. По его словам, научный метод не находится под угрозой, а человеческое руководство и вкус остаются незаменимыми.