Спросите у устройства «умный дом» прогноз погоды, и ответ устройства займет несколько секунд. Одна из причин такой задержки заключается в том, что подключенным устройствам не хватает памяти или мощности для хранения и запуска огромных моделей машинного обучения, необходимых для того, чтобы устройство понимало, что от него требует пользователь.
Модель хранится в центре обработки данных, который может находиться за сотни миль, где вычисляется ответ и отправляется на устройство.
Исследователи Массачусетского технологического института создали новый метод вычислений непосредственно на этих устройствах, который резко сокращает эту задержку. Их метод переносит требующие большого объема памяти этапы запуска модели машинного обучения на центральный сервер, где компоненты модели кодируются световыми волнами.
Волны передаются на подключенное устройство с помощью оптоволокна , что позволяет молниеносно отправлять тонны данных по сети.
Затем приемник использует простое оптическое устройство, которое быстро выполняет вычисления, используя части модели, переносимые этими световыми волнами. Этот метод приводит к более чем стократному повышению энергоэффективности по сравнению с другими методами.
Это также могло бы повысить безопасность, поскольку данные пользователя не нужно передавать в центральное место для вычислений.
Этот метод может позволить беспилотному автомобилю принимать решения в режиме реального времени, используя лишь крошечный процент энергии, необходимой в настоящее время для энергоемких компьютеров. Это также может позволить пользователю без задержек разговаривать со своим умным домашним устройством, использоваться для обработки видео в реальном времени по сотовым сетям или даже обеспечивать высокоскоростную классификацию изображений на космическом корабле в миллионах миль от Земли.
«Каждый раз, когда вы хотите запустить нейронную сеть , вы должны запускать программу, и то, насколько быстро вы сможете запустить программу, зависит от того, насколько быстро вы сможете передавать программу из памяти.
Наш конвейер огромен — он соответствует отправке полного полнометражный фильм через Интернет каждую миллисекунду или около того.
Вот как быстро данные поступают в нашу систему.
И она может вычислять так же быстро», — говорит старший автор Дирк Инглунд, доцент кафедры электротехники и компьютерных наук. (EECS) и член Исследовательской лаборатории электроники Массачусетского технологического института.
Вместе с Энглундом в статье участвует ведущий автор и аспирант EECS Александр Слуддс; Аспирант EECS Саумил Бандйопадхьяй, научный сотрудник Райан Хамерли, а также другие сотрудники Массачусетского технологического института, Линкольнской лаборатории Массачусетского технологического института и корпорации Nokia.
Исследование будет опубликовано в журнале Science. Облегчение нагрузки Нейронные сети — это модели машинного обучения, которые используют слои связанных узлов или нейронов для распознавания закономерностей в наборах данных и выполнения таких задач, как классификация изображений или распознавание речи.
Но эти модели могут содержать миллиарды весовых параметров, представляющих собой числовые значения, которые преобразуют входные данные по мере их обработки.
Эти веса должны храниться в памяти. В то же время процесс преобразования данных включает в себя миллиарды алгебраических вычислений, для выполнения которых требуется много энергии.
По словам Сладдса, процесс извлечения данных (в данном случае весов нейронной сети) из памяти и перемещения их в те части компьютера, которые выполняют фактические вычисления, является одним из самых больших ограничивающих факторов для скорости и энергоэффективности.
«Итак, мы подумали, почему бы нам не взять всю эту тяжелую работу — процесс извлечения миллиардов весов из памяти — переместить ее подальше от пограничного устройства и поместить туда, где у нас есть полный доступ к мощности и памяти, что дает нам возможность быстро принести эти гири?» он говорит.
Архитектура нейронной сети, которую они разработали, Netcast, включает в себя хранение весов на центральном сервере, который подключен к новой части оборудования, называемой интеллектуальным приемопередатчиком.
Этот интеллектуальный трансивер, представляющий собой микросхему размером с большой палец, которая может принимать и передавать данные, использует технологию, известную как кремниевая фотоника, для извлечения триллионов весов из памяти каждую секунду.
Он получает веса в виде электрических сигналов и отпечатывает их на световых волнах.
Поскольку данные о весе закодированы в виде битов (1 и 0), трансивер преобразует их, переключая лазеры; лазер включается для 1 и выключается для 0.
Он объединяет эти световые волны, а затем периодически передает их через оптоволоконную сеть, поэтому клиентскому устройству не нужно запрашивать сервер для их получения.
«Оптика великолепна, потому что есть много способов передачи данных в оптике. Например, вы можете поместить данные в разные цвета света, и это обеспечивает гораздо более высокую пропускную способность и большую пропускную способность, чем с электроникой», — объясняет Бандйопадхьяй.
Триллионы в секунду Как только световые волны достигают клиентского устройства, простой оптический компонент, известный как широкополосный модулятор Маха-Цендера, использует их для выполнения сверхбыстрых аналоговых вычислений.
Это включает в себя кодирование входных данных с устройства, таких как информация датчика, на веса. Затем он отправляет каждую отдельную длину волны на приемник, который обнаруживает свет и измеряет результат вычислений.
Исследователи разработали способ использовать этот модулятор для выполнения триллионов умножений в секунду, что значительно увеличивает скорость вычислений на устройстве при использовании лишь небольшого количества энергии.
«Чтобы сделать что-то быстрее, вам нужно сделать это более энергоэффективным. Но есть компромисс. Мы построили систему, которая может работать с мощностью около милливатта, но при этом выполнять триллионы операций умножения в секунду.
с точки зрения как скорости, так и энергоэффективности , это выигрыш на порядки», — говорит Сладдс. Они проверили эту архитектуру, отправив грузы по 86-километровому волокну, которое соединяет их лабораторию с лабораторией Линкольна Массачусетского технологического института.
Netcast обеспечивает машинное обучение с высокой точностью — 98,7 % для классификации изображений и 98,8 % для распознавания цифр — на высоких скоростях.
«Нам пришлось выполнить некоторую калибровку, но я был удивлен тем, как мало работы нам пришлось проделать, чтобы достичь такой высокой точности сразу после установки.
Мы смогли получить коммерчески значимую точность», — добавляет Хамерли. Двигаясь вперед, исследователи хотят доработать микросхему интеллектуального приемопередатчика, чтобы добиться еще большей производительности.
Они также хотят миниатюризировать приемник, который в настоящее время имеет размер обувной коробки, до размера одного чипа, чтобы он мог поместиться на смарт-устройство, такое как сотовый телефон.
Рубрика: Техно. Читать весь текст на android-robot.com.