Вход на сайт

Зарегистрировавшись на сайте Вы сможете добавлять свои материалы






Самодельные станки для моделизма


Станки и приспособления для судомоделиста. Часть I

(Краткий обзор станков и приспособлений, изготовленных в процессе постройки моделей парусников)

Целью данного обзора является упорядочение для удобства пользования размещенной в различных ветках форума информации о станках и приспособлениях, изготовленных мной в процессе постройки моделей парусников.

Часть 1

Стапель

Стапель разработан для постройки наборных корпусов длиной до 1 метра, а также для фиксации корпусов любой конструкции. Конструкция позволяет надежно и точно фиксировать киль и шпангоуты в процессе сборки корпуса, его обшивки и установки на корпус деталей.
Стапель состоит из основания (ламинированная паркетная доска 1000х380х14мм), на котором установлены:

- направляющие для фиксации киля (алюминиевый уголок 40х20х2 мм) с прорезями для шпангоутов (прорези изготавливаются под конкретную модель) – фото 1- 2;
- фигурные направляющие, по которым в процессе установки шпангоутов перемещается вдоль киля каретка (фанера 10 мм, фигурные планки) с регулируемой по высоте дюралевой пластиной 4мм, расположенной под прямым углом к килю (для установки и фиксации шпангоутов) – фото 3-5;
- боковые стойки (доска 20мм) с возможностью перемещения вдоль киля и перпендикулярно к нему (для фиксации корпуса) – фото 6;
- параллельные зажимы (дуб 20мм).

В зависимости от этапа постройки корпуса применяются те или иные детали стапеля (фото 7-9).
Более детальная информация о конструкции стапеля размещена здесь: http://forum.modelsworld.ru/topic8021.html.

Фото 1 Фото 2

Фото 3 Фото 4

Фото 5 Фото 6

Фото 7 Фото 8

Фото 9

Циркулярные пилы

Для нарезки планок шириной 3-5мм и толщиной 0,3- 5,0 мм (обшивки и т. п.; древесина - груша, падук, эбен) я изготовил «мини-фабрику» для нарезки и калибровки планок, состоящую из циркулярной пилы на основе FBS 12E с плунжерным устройством для точной установки ширины отрезаемой планки (фото 10 - 14 ) и рейсмуса (на основе MICROMOT 50E, фото 16-18) для калибровки планок (в том числе в пакете до 10-12 штук). На фото 15 показана фреза PROXXON диаметром 50 мм с переходной шайбой для установки на вал диаметром 6 мм и патрон 6мм, переделанный для установки на FBS или Micromot. Более детальная информация о конструкции «мини-фабрики» размещена здесь: http://forum.modelsworld.ru/topic8036.html.

Фото 10 Фото 11

Фото 12 Фото 13

Фото 14 Фото 15

Фото 16 Фото 17

Фото 18


В процессе эксплуатации имеющихся у меня циркулярок (самодельная «мини-фабрика» для тонких планок и шпона, FET PROXXON для толщин до 20 мм и MJ10200J Feida для толщин до 40мм) я пришел к выводу о необходимости постройки циркулярки, лишенной, по возможности, недостатков перечисленных агрегатов (конструктивные особенности, иногда существенно затрудняющие эксплуатацию; время и усилия, затрачиваемые на обеспечение точности пиления; большой шум и т. д.).

В частности, у циркулярки FET крайне неудачный узел крепления пильного диска – зажимной винт М4 с головкой под шестигранный стержень постоянно так заклинивает, что мне уже два раза приходилось срезать головку, иначе диск было не снять (этот же недостаток отмечали и другие моделисты). Этот недостаток FET удалось в значительной степени преодолеть, заменив прижимную шайбу и упомянутый винт другим, с головкой под накидной ключ на 10 (фото 19-20).

Фото 19 Фото 20


Исходными идеями постройки новой циркулярки были:

- основной диапазон пиления – древесина толщиной от 0,5 до 20 мм;
- точность пиления 0,1мм;
- распиливание под различными углами;
- регулировка стола по высоте;
- надежный узел крепления пильного диска и простота его замены;
- запас мощности, исключающий (уменьшающий) перегрев двигателя при длительной работе;
- уменьшение шума.

В результате просмотра и анализа большого количества описаний промышленных и самодельных циркулярок я пришел к созданию конструкция, показанной на фото 21-24.

Фото 21 Фото 22

Фото 23 Фото 24


Шпиндельный узел, реализующий прямой привод, изготовлен по чертежам, разработанным моделистом Борисом Б. По сравнению с исходными чертежами диаметр полумуфт уменьшен на 6 мм, чтобы они не выступали за габариты фланца. Описание циркулярки Бориса Б можно посмотреть здесь: http://www.shipmodeling.ru/phpbb/viewtopic.php?f=10&t=1421&start=465. Прямой привод, на мой взгляд, имеет ряд неоспоримых преимуществ по сравнению с ременной передачей - уменьшает потерю мощности, упрощает сборку и регулировку режущего узла, а также шумит существенно меньше других типов используемых в циркулярках. приводов.

В циркулярке использован мотор мощностью 370 ватт (характеристики приведены на фото 25) от водяного насоса. Детали привода показаны на фото 26. На фото 27 показана форма, в которой из силикона была изготовлена крестообразная прокладка для полумуфт. На фото 28 показаны детали крепления к столу и перемещения упора (направляющей). Использована винтовая пара с винтом диаметром 12 мм с многозаходной резьбой, один оборот которого обеспечивает плавное перемещение каретки с упором на 12 мм вдоль стола. Материал шпиндельного узла - ст 45, детали крепления упора к столу - дюраль Д16Т толщиной 15 мм, упор (направляющая) сечением 16х20 мм из Д16Т, фиксатор каретки - Д16Т, винт в фиксаторе М6 из ст 45, ось фиксатора - сталь "серебрянка" диаметром 6 мм. Двигатель стоит на резиновых прокладках толщиной 10 мм, резиновые прокладки установлены также на ножки основания, их крепление к основанию и под болты крепления двигателя. На фото 29-30 показано крепление шпиндельного узла к двигателя и основанию. Стойка крепления фланца (центральная) 200х105х8 мм из Д16Т, винты крепления фланца М8, промежуточная стойка - фанера 24 мм (склейка 2х12 мм), боковые стойки - фанера 12 мм, крепежные уголки - сталь 2 мм, винты М5.

Фото 25 Фото 26

Фото 27 Фото 28

Фото 29 Фото 30


На фото 31 - 32 показан режущий блок, к которому можно легко прикрепить пильные столы различных размеров и конструкций в зависимости от потребностей (например, с фиксированным на поверхности упором для изготовления решеток и т. п.). Здесь же показаны пильные диски диаметром 63, 80 и 115 мм (основные предполагаемые к употреблению размеры). Вообще же конструкция рассчитана на применение дисков с максимальным диаметром 160 мм. На фото 33 показана конструкция пильного стола: собственно стол 380х330х5мм из Д16Т, уголок из Д16Т на задней части - направляющая для перемещения и фиксации задней части упора, уголок из Д16Т на боковой части - для перемещения транспортира (косоугольное резание). Стол вращается на стальной оси диаметром 6 мм, концы которой закреплены на вертикальных стальных стойках (уголках) толщиной 3 мм.

Фото 31 Фото 32

Фото 33


На фото 34 - 37 показана конструкция узла изменения вылета пильного диска путем подъема стола. Гайка, осуществляющая подъем, фиксируется в обойме из Д16Т винтом М6. Направляющая планка (упор) для распиливаемых деталей в случае необходимости может быть легко убрана (откидывается назад) за пределы поверхности рабочего стола и перемещена – для этого достаточно открутить винт заднего зажима (фото 38). Для резания под различными углами используется транспартир от пилы FET (фото 39).

Фото 34 Фото 35

Фото 36 Фото 37

Фото 38 Фото 39


Была также идея установить патрубок для подключения пылесоса, но немного поработав на циркулярке, я убедился, что практически все опилки скапливаются в пространстве под рабочим столом и проще их периодически удалять щеткой или тем же пылесосом, чем постоянно слушать его шум в процессе пиления. Хочу отметить также, что все, кто слышал работу на холостом ходу этой циркулярки и циркулярки FET (родственники, друзья, соседи., коллеги), отметили существенное снижение шума по сравнению с FET.

Более детальная информация о конструкции циркулярки размещена здесь : http://forum.modelsworld.ru/topic8066.html.


Автор - Виталий Радько (Garward)
Город - Киев.

Эксклюзивно для сайта ModelsWorld
Перепечатка и публикация на других ресурсах
возможна с разрешения администрации сайта
и обязательной ссылкой на ресурс.
Контакт [email protected]

Мой блог находят по следующим фразам

yzhao062 / Simulation-Modeling-with-Machine-Learning: проект демонстрирует, как объединить имитационное моделирование с методами машинного обучения

перейти к содержанию Зарегистрироваться
  • Почему именно GitHub? Особенности →
    • Обзор кода
    • Управление проектами
    • Интеграции
    • Действия
    • Пакеты
    • Безопасность
    • Управление командой
    • Хостинг
    • мобильный
    • Истории клиентов →
    • Безопасность →
  • Команда
  • Предприятие
.Моделирование

: обучение алгоритму машинного обучения для повышения ценности бизнеса | by Will Koehrsen

Хотя алгоритмы машинного обучения могут показаться технически сложными, их реализация на Python проста благодаря стандартным библиотекам машинного обучения, таким как Scikit-Learn. В качестве небольшого практического совета эмпирические результаты показали, что выбор модели машинного обучения и гиперпараметров имеет значение, но не столько, сколько разработка функций.

Следовательно, рациональным решением будет вложить большую часть усилий в прогнозирование и проектирование функций и вставить предварительно созданное решение для машинного обучения.

В этом проекте я использовал Scikit-Learn, чтобы быстро реализовать несколько моделей. Чтобы подготовить данные для машинного обучения, мы должны предпринять несколько основных шагов: вменение отсутствующих значений, кодирование категориальных переменных и, при необходимости, выбор функций, если входной размер слишком велик (см. Подробную информацию в блокноте). Затем мы можем создать модель со стандартным синтаксисом моделирования:

Показатели и базовые результаты

Перед применением машинного обучения лучше всего установить наивный базовый уровень , чтобы определить, действительно ли помогает машинное обучение.С проблемой классификации это может быть так же просто, как угадать метку большинства в данных обучения для всех примеров в данных тестирования удержания. Для данных об оттоке клиентов предположение, что каждая тестовая этикетка не является оттоком, дает точность 96,5%.

Такая высокая точность может показаться впечатляющей, но для проблемы несбалансированной классификации, когда один класс представлен больше, чем другой, точность не является адекватным показателем. Вместо этого мы хотим использовать отзыв, точность, или F1.

Отзыв представляет собой процент фактических изменений в данных, которые наша модель определяет с помощью наивного предположения с записью 3,5%. Точность измеряет процент оттока , предсказанного нашей моделью , что на самом деле были оттесненными, с наивной оценкой 1,0%. Оценка F1 представляет собой гармоническое среднее этих показателей.

Поскольку это проблема классификации, для базового уровня машинного обучения я попробовал логистическую регрессию , которая не сработала.Это указывает на то, что проблема, вероятно, нелинейна, поэтому моя вторая попытка использовала классификатор случайного леса с лучшими результатами. Случайный лес быстро обучается, относительно интерпретируется, очень точен и обычно является надежным выбором для модели.

Метрики для отсутствия машинного обучения, логистической регрессии и случайного леса с гиперпараметрами по умолчанию показаны ниже:

Метрики, зарегистрированные базовыми моделями

Каждая модель оценивалась с использованием около 30% данных для тестирования удержания на основе временного интервала . серия сплит .(Это очень важно при оценке модели в задаче временных рядов, потому что это предотвращает утечку обучающих данных и должно обеспечить хорошую оценку фактической производительности модели на новых данных.)

.

Как работают трансформаторы. Трансформаторы - это разновидность нейронной… | Джулиано Джакалья

Нейронная сеть, используемая Open AI и DeepMind

Трансформаторы - это тип архитектуры нейронных сетей, который набирает популярность. Трансформеры недавно использовались OpenAI в своих языковых моделях, а также недавно использовались DeepMind для AlphaStar - их программы, чтобы победить лучшего профессионального игрока Starcraft. Преобразователи

были разработаны для решения задачи преобразования последовательности , или нейронного машинного перевода. Это означает любую задачу, которая преобразует входную последовательность в выходную последовательность. Это включает в себя распознавание речи, преобразование текста в речь и т. Д.

Преобразование последовательности. Входные данные представлены зеленым цветом, модель - синим, а выход - фиолетовым. GIF от 3

Для моделей, выполняющих преобразование последовательности , необходимо иметь какую-то память. Например, предположим, что мы переводим следующее предложение на другой язык (французский):

«Трансформеры» - японская [[хардкор-панк]] группа.Группа была образована в 1968 году, в разгар истории японской музыки »

В этом примере слово« группа »во втором предложении относится к группе« Трансформеры », представленной в первом предложении. Когда вы читаете о группе во втором предложении, вы знаете, что это относится к группе «Трансформеры». Это может быть важно для перевода. Есть много примеров, когда слова в некоторых предложениях относятся к словам в предыдущих предложениях.

Для перевода подобных предложений модель должна определять такого рода зависимости и связи.Рекуррентные нейронные сети (RNN) и сверточные нейронные сети (CNN) были использованы для решения этой проблемы из-за их свойств. Давайте рассмотрим эти две архитектуры и их недостатки.

Рекуррентные нейронные сети имеют в себе петли, позволяющие информации сохраняться.

Вход представлен как x_t

На рисунке выше мы видим часть нейронной сети, A, , обрабатывающую некоторый вход x_t и выводящую h_t. Цикл позволяет передавать информацию от одного шага к другому.

Петли можно мыслить иначе. Рекуррентную нейронную сеть можно представить как несколько копий одной и той же сети, A , каждая из которых передает сообщение своему преемнику. Рассмотрим, что произойдет, если мы развернем цикл:

Развернутая рекуррентная нейронная сеть

Эта цепочечная природа показывает, что рекуррентные нейронные сети явно связаны с последовательностями и списками. Таким образом, если мы хотим перевести какой-то текст, мы можем установить каждый ввод как слово в этом тексте.Рекуррентная нейронная сеть передает информацию из предыдущих слов в следующую сеть, которая может использовать и обрабатывать эту информацию.

На следующем рисунке показано, как обычно работает модель от последовательности к последовательности с использованием рекуррентных нейронных сетей. Каждое слово обрабатывается отдельно, и результирующее предложение генерируется путем передачи скрытого состояния на этап декодирования, который затем генерирует выходные данные.

GIF от 3

Проблема долгосрочных зависимостей

Рассмотрим языковую модель, которая пытается предсказать следующее слово на основе предыдущих.Если мы пытаемся предсказать следующее слово предложения «облака в небе» , нам не нужен дальнейший контекст. Совершенно очевидно, что следующим словом будет небо.

В этом случае, когда разница между релевантной информацией и местом, которое необходимо, невелика, RNN могут научиться использовать прошлую информацию и выяснить, какое слово будет следующим в этом предложении.

Изображение из 6

Но есть случаи, когда нам нужно больше контекста. Например, предположим, что вы пытаетесь угадать последнее слово текста: «Я вырос во Франции… Я говорю свободно…». Недавняя информация предполагает, что следующим словом, вероятно, является язык, но если мы хотим сузить, какой язык, нам нужен контекст Франции, который находится дальше по тексту.

Изображение из 6

RNN становится очень неэффективным, когда разрыв между релевантной информацией и точкой, где она необходима, становится очень большим. Это связано с тем, что информация передается на каждом этапе, и чем длиннее цепочка, тем более вероятно, что информация будет потеряна по цепочке.

Теоретически RNN могут изучить эту долговременную зависимость.На практике они, кажется, не изучают их. LSTM, особый тип RNN, пытается решить эту проблему.

При составлении календаря на день мы расставляем по приоритетам встречи. Если есть что-то важное, мы можем отменить некоторые встречи и согласовать то, что важно.

RNN этого не делают. Всякий раз, когда он добавляет новую информацию, он полностью преобразует существующую информацию, применяя функцию. Изменяется вся информация, и не учитывается, что важно, а что нет.

LSTM вносят небольшие изменения в информацию путем умножения и сложения. В LSTM информация проходит через механизм, известный как состояния ячейки. Таким образом, LSTM могут выборочно запоминать или забывать то, что важно и не так важно.

Внутри LSTM выглядит следующим образом:

Изображение из 6

Каждая ячейка принимает в качестве входных данных x_t (слово в случае перевода предложения в предложение), предыдущее состояние ячейки и выход предыдущей ячейки .Он манипулирует этими входами и на их основе генерирует новое состояние ячейки и выходные данные. Я не буду вдаваться в подробности механики каждой ячейки. Если вы хотите понять, как работает каждая ячейка, я рекомендую сообщение в блоге Кристофера:

С состоянием ячейки информация в предложении, которая важна для перевода слова, может передаваться от одного слова к другому при переводе.

Проблема с LSTM

Та же проблема, что обычно случается с RNN, случается с LSTM, т.е.е. когда предложения слишком длинные, LSTM по-прежнему не работают. Причина этого в том, что вероятность сохранения контекста для слова, которое находится далеко от текущего обрабатываемого слова, экспоненциально уменьшается с удалением от него.

Это означает, что когда предложения длинные, модель часто забывает содержание удаленных позиций в последовательности. Другая проблема с RNN и LSTM заключается в том, что трудно распараллелить работу по обработке предложений, поскольку вам нужно обрабатывать слово за словом.Не только это, но еще и не существует модели зависимостей дальнего и ближнего действия. Подводя итог, можно сказать, что LSTM и RNN представляют три проблемы:

  • Последовательные вычисления препятствуют распараллеливанию
  • Отсутствует явное моделирование зависимостей дальнего и ближнего действия
  • «Расстояние» между позициями линейно

Для решения некоторых из этих проблем исследователи создали техника обращения внимания на конкретные слова.

При переводе предложения я обращаю особое внимание на слово, которое сейчас перевожу.Когда я расшифровываю аудиозапись, я внимательно слушаю фрагмент, который активно записываю. И если вы попросите меня описать комнату, в которой я сижу, я буду оглядываться на объекты, которые описываю, в процессе.

Нейронные сети могут достичь того же поведения, используя внимание , сосредотачиваясь на части подмножества информации, которую они предоставляют. Например, RNN может следить за выходом другой RNN. На каждом временном шаге он фокусируется на разных позициях в другой RNN.

Для решения этих проблем Attention - это метод, который используется в нейронной сети. Для RNN вместо кодирования всего предложения в скрытом состоянии каждое слово имеет соответствующее скрытое состояние, которое передается на всем пути к стадии декодирования. Затем скрытые состояния используются на каждом этапе RNN для декодирования. На следующем гифке показано, как это происходит.

Шаг зеленого цвета называется этапом кодирования , а этап фиолетового цвета - этапом декодирования . GIF от 3

Идея заключается в том, что в каждом слове предложения может содержаться релевантная информация. Таким образом, чтобы декодирование было точным, оно должно учитывать каждое слово ввода, используя внимания.

Чтобы привлечь внимание к RNN при преобразовании последовательности, мы разделим кодирование и декодирование на 2 основных этапа. Одна ступенька обозначена зеленым цветом , а другая фиолетовым. Шаг , зеленый, , называется этапом кодирования , , а фиолетовый этап - этапом декодирования .

GIF от 3

Шаг, выделенный зеленым цветом, отвечает за создание скрытых состояний на входе. Вместо того, чтобы передавать декодерам только одно скрытое состояние, как мы делали до использования внимание , мы передаем все скрытые состояния, генерируемые каждым «словом» предложения, на этап декодирования. Каждое скрытое состояние используется на этапе декодирования , чтобы определить, на что сеть должна обратить внимание .

Например, при переводе предложения « Je suis étudiant» на английский язык требуется, чтобы на этапе декодирования при переводе учитывались разные слова.

На этой гифке показано, какой вес придается каждому скрытому состоянию при переводе предложения Je suis étudiant на английский язык. Чем темнее цвет, тем большее значение придается каждому слову. GIF из 3

Или, например, когда вы переводите предложение «L’accord sur la zone économique européenne a été signé en août 1992». с французского на английский и сколько внимания уделяется каждому входу.

Перевод предложения «L’accord sur la zone économique européenne a été signé en août 1992." на английский. Изображение из 3

Но некоторые из проблем, которые мы обсуждали, все еще не решаются с помощью RNN, использующих внимание . Например, параллельная обработка входных данных (слов) невозможна. Для большого объема текста это увеличивает время, затрачиваемое на перевод текста.

Сверточные нейронные сети помогают решить эти проблемы. С их помощью мы можем

  • Тривиально распараллелить (для каждого уровня)
  • Использовать локальные зависимости
  • Расстояние между позициями логарифмическое

Некоторые из самых популярных нейронных сетей для преобразования последовательностей, Wavenet и Bytenet, являются сверточными нейронными сетями.

Wavenet, модель представляет собой сверточную нейронную сеть (CNN). Изображение из 10

Причина, по которой сверточные нейронные сети могут работать параллельно, заключается в том, что каждое слово на входе может обрабатываться одновременно и не обязательно зависит от предыдущих слов, которые нужно перевести. Более того, «расстояние» между выходным словом и любым входом для CNN составляет порядка log (N) - это размер высоты дерева, сгенерированного от выхода к входу (вы можете увидеть это на гифке выше.Это намного лучше, чем расстояние между выходом RNN и входом, которое составляет порядка N .

Проблема в том, что сверточные нейронные сети не обязательно помогают с проблемой выяснения проблемы зависимостей при переводе предложений. Именно поэтому были созданы Transformers , они представляют собой сочетание обоих CNN с вниманием.

Чтобы решить проблему распараллеливания, Transformers пытаются решить эту проблему, используя сверточные нейронные сети вместе с моделями внимания . Внимание повышает скорость перевода модели из одной последовательности в другую.

Давайте посмотрим, как работает Transformer . Transformer - это модель, в которой внимание используется для увеличения скорости. В частности, он использует самовнушения.

Трансформатор. Изображение из 4

Внутри Transformer имеет такую ​​же архитектуру, что и предыдущие модели, представленные выше. Но Transformer состоит из шести кодеров и шести декодеров.

Изображение из 4

Все кодировщики очень похожи друг на друга. Все кодеры имеют одинаковую архитектуру. Декодеры имеют одно и то же свойство, то есть они очень похожи друг на друга. Каждый кодировщик состоит из двух уровней: Самовнимание, и нейронной сети прямого распространения.

Изображение из 4

Входы кодировщика сначала проходят через слой самовнимания . Это помогает кодировщику смотреть на другие слова во входном предложении при кодировании определенного слова. В декодере есть оба этих уровня, но между ними есть уровень внимания, который помогает декодеру сосредоточиться на соответствующих частях входного предложения.

Изображение из 4

Примечание: Этот раздел взят из записи блога Джея Алламара

Давайте начнем смотреть на различные векторы / тензоры и то, как они перемещаются между этими компонентами, чтобы превратить входные данные обученной модели в выходные. Как и в случае с приложениями НЛП в целом, мы начинаем с преобразования каждого входного слова в вектор, используя алгоритм встраивания.

Изображение взято из 4

Каждое слово вложено в вектор размером 512. Мы представим эти векторы этими простыми прямоугольниками.

Встраивание происходит только в самый нижний кодировщик. Абстракция, которая является общей для всех кодировщиков, состоит в том, что они получают список векторов, каждый размером 512.

В нижнем кодировщике это будет слово embeddings, но в других кодировщиках это будет выход кодировщика, который прямо внизу. После встраивания слов в нашу входную последовательность каждое из них проходит через каждый из двух уровней кодировщика.

Изображение из 4

Здесь мы начинаем видеть одно ключевое свойство преобразователя, а именно то, что слово в каждой позиции проходит по своему собственному пути в кодировщике.Между этими путями на уровне самовнимания есть зависимости. Однако уровень прямой связи не имеет этих зависимостей, и, таким образом, различные пути могут выполняться параллельно при прохождении через слой прямой связи.

Затем мы заменим пример более коротким предложением и посмотрим, что происходит на каждом подуровне кодировщика.

Самовнимание

Давайте сначала посмотрим, как вычислить самовнимание с помощью векторов, а затем перейдем к рассмотрению того, как это на самом деле реализовано - с использованием матриц.

Выявление связи слов в предложении и уделение ему внимания . Изображение из 8

Первый шаг в вычислении самовнимания состоит в том, чтобы создать три вектора из каждого из входных векторов кодировщика (в данном случае - вложение каждого слова). Итак, для каждого слова мы создаем вектор запроса, вектор ключа и вектор значения. Эти векторы создаются путем умножения вложения на три матрицы, которые мы обучили в процессе обучения.

Обратите внимание, что эти новые векторы меньше по размерности, чем вектор внедрения.Их размерность составляет 64, в то время как векторы ввода-вывода встраивания и кодировщика имеют размерность 512. Они НЕ ДОЛЖНЫ быть меньше, это выбор архитектуры, позволяющий сделать вычисление многогранного внимания (в основном) постоянным.

Изображение взято из 4

Умножение x1 на весовую матрицу WQ дает q1, вектор «запроса», связанный с этим словом. В итоге мы создаем проекцию «запроса», «ключа» и «значения» для каждого слова во входном предложении.

Что такое векторы «запроса», «ключа» и «значения»?

Это абстракции, которые полезны для вычисления внимания и размышлений о нем.Когда вы перейдете к чтению того, как рассчитывается внимание ниже, вы будете знать почти все, что вам нужно знать о роли каждого из этих векторов.

Второй шаг в вычислении самовнимания - это подсчет баллов. Допустим, мы рассчитываем самовнимание для первого слова в этом примере - «мышление». Нам нужно сопоставить каждое слово входного предложения с этим словом. Оценка определяет, сколько внимания следует уделять другим частям входного предложения, когда мы кодируем слово в определенной позиции.

Оценка рассчитывается как скалярное произведение вектора запроса на ключевой вектор соответствующего слова, которое мы оцениваем. Итак, если мы обрабатываем самовнимание для слова в позиции №1, первая оценка будет скалярным произведением q1 и k1. Вторая оценка будет скалярным произведением q1 и k2.

Изображение из 4

Третий и четвертый этапы предназначены для деления оценок на 8 (квадратный корень из размерности ключевых векторов, используемых в статье - 64. Это приводит к получению более стабильных градиентов.Здесь могут быть другие возможные значения, но это значение по умолчанию), затем передайте результат с помощью операции softmax. Softmax нормализует оценки, так что все они положительные и в сумме составляют 1.

Изображение из 4

Эта оценка softmax определяет, насколько каждое слово будет выражено в этой позиции. Очевидно, что слово в этой позиции будет иметь наивысший балл softmax, но иногда полезно обратить внимание на другое слово, имеющее отношение к текущему слову.

Пятый шаг - это умножение каждого вектора значений на оценку softmax (при подготовке к их суммированию).Интуиция здесь заключается в том, чтобы сохранить неизменными значения слов, на которых мы хотим сосредоточиться, и заглушить не относящиеся к делу слова (например, умножив их на крошечные числа, такие как 0,001).

Шестой этап предназначен для суммирования векторов взвешенных значений. Это дает результат слоя самовнимания в этой позиции (для первого слова).

Изображение из 4

На этом расчет самовнимания завершен. Результирующий вектор - это тот, который мы можем отправить в нейронную сеть с прямой связью.Однако в реальной реализации этот расчет выполняется в матричной форме для более быстрой обработки. Итак, давайте посмотрим на это теперь, когда мы увидели интуитивное вычисление на уровне слов.

Multihead Внимание

Трансформаторы в принципе так и работают. Есть еще несколько деталей, которые улучшают их работу. Например, вместо того, чтобы обращать внимание друг на друга только в одном измерении, Трансформеры используют концепцию многоголового внимания.

Идея заключается в том, что всякий раз, когда вы переводите слово, вы можете уделять каждому слову разное внимание в зависимости от типа вопроса, который вы задаете.На изображениях ниже показано, что это значит. Например, когда вы переводите «ударом ногой» в предложении «Я ударил по мячу», вы можете спросить «Кто ударил ногой». В зависимости от ответа перевод слова на другой язык может измениться. Или задайте другие вопросы, например: «Что сделал?» И т. Д.

.

Машинное обучение в производстве - настоящие и будущие варианты использования

Крупные компании, включая GE, Siemens, Intel, Funac, Kuka, Bosch, NVIDIA и Microsoft, вкладывают значительные средства в подходы на основе машинного обучения для улучшения всех аспектов производства. Эта технология используется для снижения затрат на рабочую силу, уменьшения количества дефектов продукции, сокращения незапланированных простоев, сокращения времени перехода и увеличения скорости производства.

Согласно прогнозам TrendForce, так называемое «умное производство» (грубо говоря, промышленный Интернет вещей и искусственный интеллект) значительно вырастет в течение 3-5 лет.По оценкам компании, мировой рынок интеллектуального производства в этом году превысит 200 миллиардов долларов, а к 2020 году вырастет до 320 миллиардов долларов. Это прогнозируемые среднегодовые темпы роста в 12,5 процента. Точно так же Международная федерация робототехники подсчитала, что к 2019 году количество работающих промышленных роботов, установленных на заводах, вырастет до 2,6 миллиона с 1,6 миллиона в 2015 году.

В этой статье основное внимание будет уделено тому, как работают четыре ведущие компании в мире производства. используя передовой ИИ, чтобы вносить интересные улучшения в фабрики и робототехнику.Он будет сосредоточен на двух основных темах:

  1. Различные способы использования машинного обучения в настоящее время в производстве
  2. Какие результаты приносят технологии для выбранных компаний (тематические исследования и т. Д.)

Из того, что предлагает наше исследование, большинство крупных компаний, производящих инструменты машинного обучения для производства, также используют те же инструменты в собственном производстве. Это делает их разработчиками, тестерами и первыми покупателями многих из этих достижений.Эту тенденцию мы наблюдаем и в других разработках промышленной бизнес-аналитики.

Та же самая внутренняя стратегия развития искусственного интеллекта может оказаться невозможной для небольших производителей, но для таких гигантов, как GE и Siemens, это кажется возможным и (во многих случаях) предпочтительным, чем иметь дело с внешними поставщиками. В любом случае приведенные ниже примеры окажутся полезными репрезентативными примерами ИИ в производстве.

Siemens

Немецкий конгломерат Siemens десятилетиями использует нейронные сети для мониторинга своих сталелитейных заводов и повышения эффективности.Компания утверждает, что этот практический опыт дал ей возможность разработать искусственный интеллект для производства и промышленных приложений. Кроме того, компания утверждает, что за последнее десятилетие инвестировала около 10 миллиардов долларов в американские компании-разработчики программного обеспечения (путем приобретений).

В марте 2016 года Siemens запустила Mindsphere (в бета-версии), которая является основным конкурентом продукта GE Predix . Mindsphere, которую Siemens описывает как интеллектуальное облако для промышленности, позволяет производителям оборудования контролировать парк машин для обслуживания во всем мире.В конце 2016 года он также интегрировал IBM Watson Analytics в инструменты, предлагаемые своим сервисом.

Как и GE, компания Siemens стремится отслеживать, регистрировать и анализировать все на производстве, от проектирования до доставки, чтобы находить проблемы и решения, о существовании которых люди могут даже не подозревать. Правительство Германии упомянуло эту общую динамику «Индустрии 4.0».

История успеха искусственного интеллекта Сименс часто подчеркивает, как он улучшил выбросы конкретных газовых турбин лучше, чем это удалось любому человеку.«Даже после того, как эксперты сделали все возможное, чтобы оптимизировать выбросы закиси азота турбиной, - говорит д-р Норберт Гаус, руководитель отдела исследований в области цифровизации и автоматизации компании Siemens Corporate Technology, - наша система искусственного интеллекта смогла снизить выбросы еще на десять-пятнадцать. процентов."

Новейшие газовые турбины Сименс имеют более 500 датчиков, которые постоянно измеряют температуру, давление, напряжение и другие переменные. Вся эта информация передается в их ИИ на основе нейронных сетей. Сименс утверждает, что их система учится постоянно регулировать топливные клапаны для создания оптимальных условий сгорания в зависимости от конкретных погодных условий и текущего состояния оборудования.Большее сгорание приводит к меньшему количеству нежелательных побочных продуктов.

В представлении газовой турбины в виртуальной реальности сложные данные датчиков преобразуются в цвета, чтобы сделать смысл информации - в данном случае разницы температур - более понятной. продукт под названием Click2Make, технология производства как услуги. Для компаний, имеющих полное представление обо всех доступных ресурсах и хорошо адаптируемых роботах, цель состоит в том, чтобы в конечном итоге сделать производство возможным для массовой настройки.

Как это будет работать, так это то, что компания решит, что они хотят создать конкретный объект ограничения пробега, например специальный журнальный столик. Компания представит свой дизайн, и система автоматически начнет процесс торгов среди предприятий, у которых есть оборудование и время для обработки заказа. Это позволит поставщикам автоматически составлять производственные планы и предлагать их потенциальным покупателям в режиме реального времени. Наша цель - быстро перейти от проектирования к доставке.

GE

General Electric - 31-я крупнейшая компания в мире по размеру выручки и один из крупнейших и самых разнообразных производителей на планете, производящий все, от крупного промышленного оборудования до бытовой техники.У компании более 500 заводов по всему миру, и она только начала превращать их в интеллектуальные предприятия.

В 2015 году GE запустила для клиентов свой Brilliant Manufacturing Suite, который она тестировала на собственных заводах. Система использует целостный подход к отслеживанию и обработке всего в производственном процессе, чтобы находить возможные проблемы до их появления и выявлять неэффективность. Их первая «Блестящая фабрика» была построена в том же году в Пуне, Индия, с инвестициями в 200 миллионов долларов.GE утверждает, что повысила эффективность оборудования на этом предприятии на 18 процентов.

Цель пакета GE Brilliant Manufacturing Suite - объединить проектирование, проектирование, производство, цепочку поставок, распределение и услуги в одну глобально масштабируемую интеллектуальную систему. Он работает на платформе Predix, их промышленной платформе Интернета вещей. В производственной сфере Predix может использовать датчики для автоматического отслеживания каждого этапа процесса и мониторинга каждой части сложного оборудования.

Снимок экрана из маркетинговых материалов продукта GE «Predix».

С помощью этих данных возможности глубокого обучения Predix могут выявить потенциальные проблемы и возможные решения.GE потратила около 1 миллиарда долларов на разработку системы, и к 2020 году GE ожидает, что Predix будет обрабатывать один миллион терабайт данных в день.

У

GE сейчас семь фабрик Brilliant, работающих на их системе Predix, которые служат в качестве тестовых примеров. Он заявляет о положительных улучшениях в каждом из них. Например, согласно результатам их системы GE, их завод по производству ветряных генераторов во Вьетнаме повысил производительность на 5 процентов, а завод по производству реактивных двигателей в Маскегоне продемонстрировал на 25 процентов лучший показатель своевременности поставки. Они утверждают, что они также сократили незапланированные простои на 10-20 процентов за счет оснащения машин интеллектуальными датчиками для определения износа.

В видео ниже GE объясняет, как технология Brilliant Factory используется на ее заводе в Гроув-Сити, штат Пенсильвания:

Fanuc

В то время как GE и Siemens в значительной степени сосредоточены на применении ИИ для создания целостного производственного процесса, другие компании, специализирующиеся на промышленной робототехнике, уделяют особое внимание тому, чтобы сделать роботов умнее.

Fanuc, японская компания, которая является лидером в области промышленной робототехники, недавно сделала сильный толчок к расширению возможностей подключения и использованию искусственного интеллекта в своем оборудовании.В 2015 году Fanuc приобрела 6-процентную долю в стартапе Preferred Network с искусственным интеллектом за 7,3 миллиона долларов, чтобы интегрировать глубокое обучение в своих роботов.

В начале 2016 года он объявил о сотрудничестве с Cisco и Rockwell Automation для разработки и развертывания FIELD (FANUC Intelligent Edge Link and Drive). Его описывают как промышленную платформу Интернета вещей для производства. Всего через несколько месяцев Fanuc заключила партнерское соглашение с NVIDIA, чтобы использовать их чипы AI для своих «фабрик будущего».

Fanuc использует глубокое обучение с подкреплением, чтобы помочь некоторым своим промышленным роботам обучиться самостоятельно.Они выполняют одну и ту же задачу снова и снова, обучаясь каждый раз, пока не достигнут достаточной точности. Благодаря партнерству с NVIDIA цель состоит в том, чтобы несколько роботов могли учиться вместе. Идея состоит в том, что то, что одному роботу может потребоваться восемь часов, чтобы выучить, восемь роботов могут выучить за один час. Быстрое обучение означает меньшее время простоя и возможность обрабатывать более разнообразные продукты на одном заводе.

В то время как люди изначально должны были программировать каждое конкретное действие, которое предпринимает промышленный робот, в конечном итоге мы разработали роботов, которые могли учиться сами.В будущем все больше и больше роботов смогут передавать свои навыки и учиться вместе. Робот-приложения с относительно повторяющимися задачами (роботы быстрого питания - хороший кандидат) являются низко висящими фруктами для такого типа трансферного обучения.

На видео ниже показано, как робот FUNAC автономно учится подбирать железные цилиндры, расположенные под произвольным углом:

KUKA

KUKA, немецкая производственная компания, принадлежащая Китаю, является одной из крупнейших в мире производители промышленных роботов в мире.Одно из направлений использования ИИ, в которое они инвестируют, - это помощь в улучшении взаимодействия человека и робота.

Большинство промышленных роботов были очень сильными и глупыми, а это означало, что приближаться к ним во время работы было серьезной угрозой для здоровья, требующей защитных барьеров между людьми и машинами. Компания KUKA утверждает, что их LBR iiwa «является первым в мире серийно выпускаемым чувствительным и, следовательно, совместимым с HRC роботом». Использование интеллектуальной технологии управления и высокопроизводительных датчиков означает, что он может работать рядом с человеком, не рискуя случайно его раздавить.

KUKA использует этих роботов LBR iiwa на своих заводах, как и другие крупные производители, такие как BMW. На видео показано, как роботы используются на заводе BMW.

Способность безопасно работать с людьми может означать, что мобильные роботы смогут развертываться в местах и ​​выполнять функции, которых у них раньше не было, например, работая напрямую с людьми для размещения компонентов. Их также можно быстро переназначить для выполнения новых задач практически в любом месте фабрики по мере необходимости.Они обладают потенциалом для повышения эффективности и гибкости заводов. …

Заключительные мысли о машинном обучении в производстве

Автоматизация, робототехника и комплексная аналитика уже много лет используются в обрабатывающей промышленности. На протяжении десятилетий целые предприятия и академические круги существовали для изучения данных в производстве, чтобы найти способы сократить отходы и повысить эффективность. Производство уже является достаточно оптимизированной и технически продвинутой областью.

В результате - в отличие от некоторых отраслей (например, служб такси), где развертывание более продвинутого ИИ может вызвать серьезные сбои, - в ближайшем будущем использование новой технологии ИИ в обрабатывающей промышленности будет скорее выглядеть как эволюция, чем как революция.

Более широкая промышленная связь, более широкое применение датчиков, более мощная аналитика и улучшенные роботы - все это позволяет добиться заметных, но скромных улучшений в эффективности или гибкости.

Мы видим, что эти новые приложения машинного обучения дают относительно скромное сокращение отказов оборудования, более своевременные поставки, небольшие улучшения в оборудовании и сокращение времени обучения в конкурентном мире промышленной робототехники.Эти улучшения могут показаться небольшими, но если их сложить вместе и распределить по такому большому сектору, общая потенциальная экономия будет значительной. По данным ООН, мировая добавленная стоимость производства (чистая продукция производства после вычета промежуточных затрат) составила 11,6 триллиона долларов в 2015 году. Вот почему компании тратят миллиарды на разработку инструментов искусственного интеллекта, чтобы выжать несколько дополнительных процентных пунктов из различных производств.

В долгосрочной перспективе полная цифровая интеграция и расширенная автоматизация всего процесса проектирования и производства могут открыть некоторые интересные возможности.Кастомизация - дело редкое и дорогое, в то время как массовые товары массового производства являются доминирующей моделью в производстве, поскольку в настоящее время стоимость перепроектирования производственной линии для новых продуктов часто бывает чрезмерной.

Потребители по большей части были готовы пойти на компромисс, потому что товары массового производства намного дешевле. Если технология, делающая производство более гибким, получит широкое распространение, в результате чего настройка станет достаточно дешевой, это может привести к реальному сдвигу на многих рынках.Вместо большинства туфель, выпускаемых в дюжине размеров, они могут быть изготовлены в бесконечном количестве размеров - каждый заказ изготавливается по индивидуальному заказу, изготавливается и отправляется в течение нескольких часов после размещения заказа.

Кредит изображения заголовка: Cerasis

.

Смотрите также