?

Log in

No account? Create an account
nyaload

Журнал Пушыстого

Журнал Пушыстого

Previous Entry Share Next Entry
локальные минимумы
nyaload
_winnie
Придумал наверное очередной велосипед, но гугл по "gradient descent smoothing" находит pdf-ки за 2009+ года, но не времен Лапласа.

Что бы избежать попадания в миллион локальных минимумов, можно сделать так что бы их было чуть-чуть. Т.е. сделать из первого графика второй:



Сделать это можно например смешиванием g(x) = f(x-10α)+f(x-9α)+f(x-8α)+ ... +f(x+9α)+f(x+10α) или каким-нибудь другим умным low-pass фильтром. Подбирать 10 и α перебором, так что бы gradient descent из разных случайных точек приходил в одни и те же места, а не каждый раз в новую норку.

  • 1
О, пасиб, находится статья товарища Чапелее, которая, скорее всего, очень полезна http://olivier.chapelle.cc/pub/smoothgrad.pdf

Меня глючит, или первые два элемента в формуле "смешивания" - опечатка?

Спасибо! На самом только первые два - не опечатка, а остальные - опечатка :)

Значит таки меня глючит. :)

О, спасибо.
Наверное, это тоже подойдет, когда функция вычисляется методом Монте-Карло, когда ее вычисленное значение неточное и отличается от расчета к расчету.
Я, правда, до сглаживания не додумался тогда, и просто испльзовал brute force, перебрав все значения оптимизируемых параметров с определенным шагом, и выбрав из всех оптимум. Очень долго тогда считалось.

Почитайте прикладную спектроскопию. У них про это тома.

Про фильтры и сглаживание или про градиентный спуск?
Тома - это слишком много, учитывая что у меня может быть и связанная математикой/статистикой, но физически другая работа :)

Да понятно все. Я на 3 курсе жене-спектроскописту писал ровно то же, не вдаваясь в подробности. Вместо значения брал среднее арифметическое по соседям. Соседей брал столько, чтобы подавить локальные экстремумы. Работало на ура. Но потом пошли сильно зашумленные данные с выбросами.

В общем случае, не зная природы шумов, отфильтровать их станоится невозможно. Впоследствии оказалось, что выбросы - это колебательно-вращательные спектры воды. И фильтруются они на раз, т.к. их волне можно вычислить и вычесть.

Посмотрите еще "gradient descent" +momentum. Это небольшая модификация алгоритма, которая добавляет фиксированную долю предыдущего шага к текущему. Тоже помогает «пролетать» локальные минимумы как бы по инерции как раз в таких случаях как у Вас нарисован.

Я, помнится, для такого дела гауссовым фильтром проходился по графику.

как насчет посчитать спектр сигнала, выделить полосу на уровне 50% энергии, и сделать band-pass в рамках этой полосы?

Подвох в том, что могут возникнуть новые ложные минимумы. А настоящий глобальный минимум наоборот — исчезнуть, задавленный максимами.

Если глобальный минимум такой дохлый, что он задавливается от сглаживания - то и хрен с ним. Скорее, это какой-то outlier http://dobrokot.ru/pics/i2011-11-20__19-11-04_71kb.jpg

  • 1