💬 Apple и Nvidia объединяются для ускорения генерации токенов LLM

Apple и Nvidia объединяются для ускорения генерации токенов LLM

Apple AAPL -2.14% ▼ и Nvidia NVDA -1.14% ▼ объединились для обеспечения более быстрой генерации токенов LLM (большие языковые модели), что в конечном итоге приводит к более быстрой и эффективной генерации текста ИИ. Эффективность будет достигнута за счет интеграции техники Recurrent Drafter (ReDrafter) от Apple в фреймворк TensorRT-LLM от NVIDIA.

Вот как эти две техники работают вместе

Apple представила ReDrafter ранее в этом году как средство генерации текста с LLM. Исследования показали, что метод ReDrafter может ускорить вывод LLM до 3,5 токенов за шаг генерации для моделей с открытым исходным кодом. Технология Apple включает в себя объединение поиска луча с динамическим вниманием дерева для изучения различных вариантов текста и принятия эффективных решений.

Между тем, фреймворк TensorRT-LLM от Nvidia был оптимизирован путем добавления новых функций для адаптации техники ReDrafter. Такое сочетание приводит к заметному увеличению скорости генерации токенов. Например, ReDrafter достиг 2,7-кратного увеличения генерации токенов в секунду.

Новый интегрированный инструмент принесет пользу разработчикам, использующим графические процессоры Nvidia, для более быстрой генерации токенов, сокращения задержек и снижения вычислительных затрат. Разработчики смогут создавать более сложные модели с меньшими затратами и легко развертывать их с помощью TensorRT-LLM от Nvidia. Сотрудничество двух технологических гигантов демонстрирует, как отрасль объединяется для улучшения возможностей и инноваций на основе ИИ.

Стоит ли покупать акции AAPL?

Уолл-стрит по-прежнему разделилась по поводу акций Apple, учитывая замедление спроса на ее iPhone. На TipRanks акции AAPL имеют консенсус-рейтинг «Умеренная покупка» на основе 20 оценок «Покупать», девяти «Удерживать» и двух оценок «Продавать». Кроме того, средняя целевая цена Apple в $243,72 подразумевает потенциал снижения на 1,8% от текущих уровней. С начала года акции AAPL выросли на 29,5%.

Посмотреть больше рейтингов аналитиков AAPL

Стоит ли покупать акции NVDA?

Nvidia, действительно, остается одной из самых любимых акций Уолл-стрит. На TipRanks акции NVDA имеют консенсус-рейтинг «Сильно покупать» на основе 37 оценок «Покупать» и трех оценок «Удерживать». Средняя целевая цена Nvidia в $177,14 подразумевает потенциал роста в 37,4% от текущих уровней. С начала года акции NVDA выросли более чем на 160%.

Посмотреть больше рейтингов аналитиков NVDA