В каких архитектурах нейронных сетей активация нейронов рассчитывается на основе меры близости (например, евклидова расстояния) между входным вектором и вектором весов или центром нейрона? Выберите все подходящие варианты.
Подробное объяснение
Активация, основанная на расстоянии, характерна для сетей, где нейроны сравнивают входные данные с эталонными векторами. В самоорганизующихся картах Кохонена (SOM) активация определяется поиском нейрона-победителя с минимальным расстоянием до входного вектора. В сетях радиально-базисных функций (RBF) активация вычисляется через радиальные функции (например, гауссову), зависящие от расстояния между входом и центром нейрона. Другие архитектуры, такие как полносвязные сети или CNN, используют скалярные произведения или свёртки, а не distance-based подход.
Часто задаваемые вопросы (FAQ)
1
Что такое нейрон-победитель в SOM?
Нейрон-победитель (Best Matching Unit, BMU) — это нейрон в самоорганизующейся карте Кохонена, чей вектор весов находится на минимальном расстоянии от входного вектора, определяемом метрикой (например, евклидовой).
2
Как работают радиально-базисные функции в RBF-сетях?
В RBF-сетях каждый нейрон имеет центр и ширину; его активация вычисляется как функция (например, гауссова) от расстояния между входным вектором и центром, что позволяет моделировать локальные зависимости в данных.
3
Почему в полносвязных сетях не используется distance-based активация?
В полносвязных сетях активация нейронов основана на линейной комбинации входов (скалярное произведение весов и входов) с последующей нелинейностью, а не на измерении расстояния, что делает их более подходящими для глобальных, а не локальных паттернов.
Типичные ошибки
1
Путать distance-based активацию со скалярным произведением в CNN или трансформерах.
В CNN и трансформерах используются операции свёртки или внимания, основанные на скалярных произведениях или их вариантах, а не на евклидовой метрике, поэтому они не подходят под критерий вопроса.
2
Включать GAN или RNN в ответ, так как они не основаны на distance-based активации.
GAN — это схема обучения с генератором и дискриминатором, а RNN используют рекуррентные связи и линейные преобразования; ни одна из этих архитектур не вычисляет активацию через меру близости к центру нейрона.
3
Считать, что все нейронные сети используют distance-based подход.
Distance-based активация специфична для определённых архитектур, таких как SOM и RBF; большинство сетей (например, MLP, CNN) полагаются на другие механизмы, что делает этот признак не универсальным.