Google открыла исходный код TorchTPU, а AWS, облачное подразделение Amazon, в тот же день запустила публичную бету TorchNeuron. Оба проекта служат мостами между PyTorch и собственными ИИ-ускорителями обеих компаний: TPU у Google и Trainium у Amazon. С ними модели переезжают на чужие чипы почти без переписывания кода.
PyTorch (набор инструментов, на котором пишет большинство создателей нейросетей) почти десять лет развивали прежде всего под видеокарты Nvidia. Главную роль в этом сыграла CUDA (фирменная платформа Nvidia, через которую приложения раздают вычисления графическому процессору). Любой чужой чип приходилось учить говорить на ее языке. Для TPU Google долго предлагала собственную библиотеку JAX, но клиенты с готовым кодом на PyTorch переезжать не спешили.
Идея появилась не вчера. В декабре 2025 года стало известно, что Google делает проект TorchTPU вместе с Meta, создательницей PyTorch, и рассматривает возможность открыть часть программ. Теперь код лежит на GitHub. Вместе с ним вышли бэкенды (программные прослойки) для vLLM и SGLang. Это популярные открытые серверы, которые принимают запросы к уже обученной нейросети и быстро возвращают ответы. На них компании строят чат-ботов и другие сервисы с готовыми моделями. Для обучения добавили TorchTitan, эталонную платформу команды PyTorch, рассчитанную на тысячи чипов сразу. Поддержку получили и Ray, система для распределения задач между множеством машин, и Hugging Face Transformers, самая популярная библиотека открытых моделей.
Google приводит и собственные замеры. На новейших чипах Ironwood (седьмое поколение TPU) TorchTitan при обучении Qwen 3 8B, открытой модели Alibaba, загружает их работой на 52% от пиковой мощности. Для больших нейросетей это высокий показатель, ведь часть времени уходит на обмен данными и ожидание: для сравнения, у PaLM в 2022 году Google добилась 46%. Кроме того, при росте кластера до 8192 чипов скорость почти пропорционально растет вслед за их числом. Еще один пример привел клиент Zenteiq, который генерирует синтетические данные для нейросетей. Когда компания включила в облаке Google умную раздачу запросов между серверами, каждая тысяча ускорителей TPU v6e стала выдавать в сутки почти 6 млрд токенов (фрагментов текста, которыми оперирует модель) вместо прежних 1,5 млрд.
За этим стоит llm-d 1.0, вышедший в тот же день. Это открытый стек для Kubernetes (самой распространенной системы управления приложениями в больших вычислительных кластерах), который объединяет серверы моделей в общий пул. Проект делают вместе с Red Hat и IBM, в нем участвуют более 500 разработчиков из 25 с лишним организаций, а зрелость у него пока ранняя (так называемая песочница CNCF). По данным Google, на Ironwood ИИ-агенты, которые пишут код, в среднем ждут первого слова ответа на 85% меньше, а общая пропускная способность выросла в 2,4 раза. Сравнивали с обычной схемой, при которой запросы распределяются по серверам вслепую.
У AWS путь короче. Модель переносят на Trainium2 или Trainium3 (второе и третье поколения ИИ-чипов, которые Amazon разрабатывает сама и сдает в аренду в своем облаке) заменой устройства на «neuron». При этом сохраняются оба привычных режима PyTorch: eager, когда код исполняется построчно и его легко отлаживать, и torch.compile, когда программу заранее собирают в быстрый оптимизированный вид. Для тонкой настройки есть NKI (Neuron Kernel Interface, «интерфейс ядер Neuron»), через который инженеры пишут собственные низкоуровневые операции прямо под чип. Код открыт, статус бета.
Скептику есть за что зацепиться. Почти все цифры принадлежат самой Google и ее клиентам. Многие преимущества llm-d привязаны к GKE, облачному сервису Google, где Kubernetes настраивают и обслуживают за пользователя. Часть новинок пока доступна лишь в предварительной версии. Среди них поддержка VeRL (открытой библиотеки ByteDance для обучения с подкреплением, при котором модель учится на оценках своих ответов) и набор ИИ-агентов, помогающих переносить нейросети на TPU и ускорять их. Да и сам стек требует от команды опыта с Kubernetes. К тому же вокруг CUDA накопились годы оптимизаций, которые одним релизом не заменить.
Зато у проекта есть заказчик, которому верят. Яна ван Грюнен, директор по инженерии PyTorch в Meta, рассказала, что ее компания уже запускает на TPU рабочие нагрузки: большие языковые модели, рекламу и рекомендательные системы.
