Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Google выпустила для своей платформы TensorFlow на Android новый механизм логического вывода, работающий на мобильных ускорителях через OpenCL. Он доступен в последней версии библиотеки TensorFlow Lite, и компания утверждает, что движок обеспечивает двукратное превосходство по скорости по сравнению с существующим модулем на основе OpenGL при исполнении моделей ИИ «разумного размера».
OpenGL развивается уже три десятилетия как не привязанный к платформе API для рендеринга 2D и 3D. Вычислительные шейдеры были добавлены в версии OpenGL ES 3.1, но команда TensorFlow заявила, что из-за обратной совместимости этот API не позволяет реализовать в полной мере потенциал графических процессоров. С другой стороны, OpenCL с самого начала разрабатывался как стандарт для вычислений с использованием различных ускорителей и лучше подходит для реализации механизма логического вывода на мобильных ускорителях. Это заставило команду TensorFlow провести исследование и в конечном итоге перейти на движок на основе OpenCL.
Благодаря поддержке FP16 и других особенностей ГП в новом механизме логического вывода TensorFlow некоторые старые ускорители вроде Adreno 305 2012 года теперь смогут работать в полную силу. В некоторых случаях прирост оказывается более чем двукратным. Например, при работе поисковой нейронной системы MNASNet 1.3 через новую библиотеку TensorFlow задержки были уменьшены со 100 мс на Vivo Z3 с движком на основе OpenGL до 25 мс с новой версией на базе OpenCL. В другом тесте с алгоритмом обнаружения объектов SSD MobileNet v3 на Huawei Mate 20 также сократил задержки с почти 100 мс до менее чем 25 мс.
Google отметила, что OpenCL не является частью стандартного дистрибутива Android, что делает новую библиотеку недоступной для некоторых пользователей. В качестве временной меры TensorFlow Lite теперь проверяет наличие OpenCL и, если API недоступен, переключается на движок на базе OpenGL.
Источник: