NVIDIA Jetson Orin Nano Super — мощный суперкомпьютер начального уровня на AI
Компания Nvidia, известная своей многопоточной параллельной архитектурой обработки, недавно представила свой самый доступный суперкомпьютер серии Jetson по цене 249 долларов США, что значительно ниже цены предыдущего поколения в 499 долларов США.Nvidia также представила обновления Jetpack для своих существующих плат, которые обещают прирост производительности до 70%. (Nvidia)
Приготовьтесь встретить самый быстрый суперкомпьютер, который умещается на ладони. Новейший Jetson Orin Nano Super от NVIDIA — это новейшая система на модуле (SoM), созданная и продаваемая для приложений ИИ и периферийных вычислений. Его размеры составляют всего около 70 мм x 45 мм (меньше кредитной карты), и он похож на более ранние модули Jetson, но обладает мощностью, выдающей до 67 TOPS. Он предназначен для любителей, разработчиков и студентов, которые ищут доступный компактный суперкомпьютер для своих проектов. Существуют различные приложения для удаленной полевой работы, беспилотников, робототехники, устройств Интернета вещей и автоматизации. Nvidia называет его идеальным вариантом начального уровня для добавления передового ИИ во встраиваемые продукты.
Nvidia, известная своей многопоточной параллельной архитектурой обработки, недавно представила свой самый доступный суперкомпьютер серии Jetson по цене $249, что значительно ниже цены предыдущего поколения в $499. Jetson Orin Nano Super использует архитектуру Ampere от Nvidia и имеет 6-ядерный процессор ARM, 1024 ядра CUDA с 32 тензорными ядрами. В целом, Nvidia предлагает 70%-ное увеличение производительности, 50%-ное увеличение пропускной способности памяти по сравнению с предшественником до 102 ГБ/с за половину цены. Это позволяет выполнять вычислительные задачи, такие как обнаружение объектов в реальном времени, легкая обработка генеративного ИИ и синтез голоса.
Nvidia также представила обновления Jetpack для своих существующих плат, которые обещают прирост производительности до 70%. Он также может поддерживать до четырех камер с более высоким разрешением и частотой кадров, чем предыдущие версии. Ажиотаж вокруг этого релиза от Nvidia понятен, учитывая, что это будет первый раз, когда многие приложения можно будет практически запустить без подключения к облаку/интернету, что значительно расширяет варианты использования.
Он имеет настройки мощности 7/15/25 Вт, а для максимальной производительности вы должны запустить его на 25 Вт. Система может питаться либо от USB-C, либо от фирменного разъема barrel. Jetson Orin имеет 40-контактный разъем расширения. По данным Nvidia, новый Jetson Orin Nano Super показывает прирост производительности Large Language Model (LLM) от 1,37x до 1,63x, прирост в моделях зрения от 1,36 до 2,04x и скачок в преобразователях зрения от 1,43 до 1,69x.
Аппаратное обеспечение, оптимизированное для ИИ, такое как Jetson Orin nano super, в настоящее время пользуется таким большим спросом, что оно распродано на многих рынках и в настоящее время находится на предзаказе. Специфические чипы ИИ с графическими процессорами и нейронными процессорами созданы для параллельной обработки, выполняя многочисленные вычисления одновременно. Генеративный ИИ стал слоном, пожирающим все виды ресурсов — электричество, чипы ИИ, центры обработки данных и т. д., и полупроводниковая промышленность изо всех сил пытается угнаться за ним.
На рынке представлено множество различных конкурентов Nvidia, наиболее распространенным из которых является Raspberry Pi. Coral Dev Board от Google и Qualcomm Robotics RB5 Development Kit — достойные конкуренты. Однако наиболее привлекательной особенностью использования платы разработчика Nvidia является надежная поддержка экосистемы и активное сообщество разработчиков. Комплект разработки программного обеспечения Jetpack от Nvidia имеет полный набор инструментов для оптимизации рабочих нагрузок ИИ — Nvidia Isaac для робототехники, Nvidia metropolis для ИИ-зрения, Nvidia Omniverse replicator для генерации синтетических данных. Nvidia привержена фреймворкам с открытым исходным кодом — это означает, что такие модели, как Llama и Gemma 2, можно без проблем использовать на Jetson Orin Nano Super. Лаборатория ИИ Nvidia Jetson предлагает поддержку этих моделей с открытым исходным кодом и предоставляет руководства по внедрению.
Рост мощных чипов ИИ, как и многих новых технологий, демократизировал робототехнику, автоматизацию и Интернет вещей и позволил многим экспериментировать с проектами DIY и внедрять их в бытовые и промышленные проекты. Недалек тот день, когда сложные приложения ИИ станут функцией plug & play, доступной для настройки ваших бытовых проектов. И это может остаться только тем, что, учитывая, что развертывание в масштабах полного производства может потребовать дополнительного оборудования и ресурсов. Чип, вероятно, останется наиболее полезным, хотя для академических, образовательных и прототипных целей.
Например, у меня есть простая идея отслеживать движение транспортного средства с помощью видеозаписи с видеорегистратора или системы видеонаблюдения. Хотя это может показаться сложным и дорогим, можно построить прототип своими руками по доступной цене с помощью Jetson Orin Nano Super. Эта компактная, но мощная плата поддерживает обнаружение и отслеживание объектов в реальном времени с помощью моделей глубокого обучения. Благодаря производительности ИИ 67 TOPS она обрабатывает живые видеопотоки с камер USB, IP или MIPI CSI, эффективно идентифицируя и отслеживая транспортные средства. Используя фреймворк NVIDIA JetPack SDK и DeepStream, она обеспечивает периферийные вычисления ИИ без использования облачного подключения. Это делает ее идеальной для мониторинга дорожного движения, управления автопарком или приложений безопасности.
В Индии он доступен через RP Tech, Arrow и TannaTechBiz примерно за 25 000 индийских рупий, с ожидаемым временем ожидания 1–2 месяца из-за высокого мирового спроса. Jetson Orin Nano Super — отличный выбор для разработчиков, студентов и производителей, желающих исследовать инновационные проекты ИИ, не опустошая при этом свой кошелек.