 По стопам Р. Докинза
|
7 Дек, 2011 @ 07:20 
|
|---|
В своей древней книге «Слепой часовщик» (с моей краткой рецензией можно ознакомиться здесь) Ричард Докинз упоминал о том, что в какие-то дремучие времена разработал программу, эмулирующую естественный отбор. На самом деле, конечно, эта программа эмулирует искусственный отбор, но не суть важно. Там у него было несколько (с десяток) «генов», на основании значений которых он рисовал древоподобные фигуры. Затем он скрещивал эти гены, подвергал их мутации и рисовал снова. Сам отбирал из новых фигур наиболее интересные для него (в этом-то и искусственность отбора). В итоге через несколько поколений он получал фигуры, напоминающие жуков, бабочек, баобабы, глаза и др. В принципе, достаточно впечатлительное и интересное занятие.
И вот, что пришло мне в голову. А не пойти ли по стопам Р. Докинза в разработке подобных программ. Только «гены» должны лежать в основе не рисования древоподобных фигур, а в основании чего-то иного. Например, в основании генерации естественноязыковых текстов (эта тема меня наиболее волнует сегодня). Тут возникает несколько технических вопросов:
1. За какие свойства должны отвечать «гены»? Ведь можно начать, к примеру, с того, что один «ген» отвечает за частоту проявления в тексте буквы «о», другой — за частоту проявления другой буквы. Но это ни к чему полезному не приведёт, как мне кажется.
2. Как обеспечить механизм естественного отбора в этом деле? Можно попробовать сравнивать генерируемые тексты и выбирать из них те, которые наиболее похожи на естественный язык. Но это тоже больше похоже на искусственный отбор и телеологию. А естественный отбор, как известно, бесцельный (слепой). И именно этим программа должна отличаться от реализации генетических алгоритмов. Как?
3. Как обеспечить требуемое разнообразие? Ведь, например, если взять 10 «генов», каждый из которых будет иметь 10 значений, то общее разнообразие будет составлять 33.22 бита (log2 1010). А этого явно недостаточно, чтобы выразить всё разнообразие естественного языка. Разнообразие можно повышать количеством «генов», количеством их значений и количеством вариантов обработки, то есть внесением разнообразия из программы-обработчика «генной» информации.
Кому эта тема интересна? Кто что скажет?
|
1) Гены могут определять не только частоты отдельных букв, но и их порядков. Так напрмер два гена могут определять - один частоту слога "жи", второй - "жы". Гены могут определять средее число слогов в слове и разные комбинации слогов - "лалала", "дырдырдыр"и "штангенциркуль". Далее слова можно составлять в предложения сильно по разному.
2) Иметь не десять экземпляров в поколении а десять тысяч. Близкородсвенное скрещивание попахивает инцестом :) И поколений побольше, побольше... Можно эмулировать проживание разных объектов на отдельных островах/континентах.
3) Больше генов. Из первого пункта можно запросто вывести пару десятков тысяч разных. И пофиг что часть из них будет бессмысленна. Природа так работает.
PS: Генов много. Поколейний много. Образцов много. Не надейся повторить мгновенно то, на что у природы ушло десятки тысяч лет :)
Благодарю. Полезные идеи. Буду думать дальше.
Я когда-то интересовался подобной темой, и мысли эти пока еще не забросил. Суть информации, закодированной в генах - в абстракции от самих генов. Совершенно очевидно, что если у живого существа всего лишь 4 гена, то буквально каждым из них не выразить все то многообразие, которое мы видим вокруг. Сила генов - в их сочетании. Нельзя непосредственно сопоставлять ген "А" и значение "а", которое он кодирует, но можно положить, например, что цепочка из 6 генов [А,А,B,B,_,_] кодирует значения "а", "b", "c",... . Однако если преобразовывать осмысленную цепочку из 60 генов генетическим алгоритмом, вы теряете осмысленность, то есть многие подцепочки, кодирующие информацию, превращаются в бессмысленный набор нуклеотидов. В качестве решения этих проблем я предлагал использовать несколько уровней абстракции над непосредственно генами. При этом значение конкретной последовательности генов зависело от задачи, от вышестоящих уровней абстракции, от целевого результата. Классический генетический алгоритм (мутации) я заменил на клеточный автомат, - в этом смысле получились очень интересные следствия. Для конкретики я взял тему что-то вроде "моделирование характеристик персонажа компьютерной игры", но это были только предварительные исследования перед темой "моделирование абстрактного мира". Чтобы не повторяться, дам ссылку на gamedev.ru, где выложил некоторые выкладки (правда сейчас вижу наивность некоторых рассуждений). http://www.gamedev.ru/code/forum/?id=121190Как и говорил, еще планирую вернуться к этой теме в ближайшее время.
Благодарю за ценные идеи и мысли. По ссылке читаю. Буду думать.
Да, это отличная идея.
Вместо никчемной хни, которую обычно создают компьютерные экспериментаторы с эволюцией (клеточки в игре 'жизнь' или графики по поводу абстрактных 'видов') - или даже вместо более занятной и полезной хни, вроде выработки минимальных правил, которые определят жизнь 'колонии насекомых' вроде муравьев - заняться выводом буквовок/звуков и приписываемых к ним смыслов, которые составляют язык.
(изучения 'роения' или 'поведения колоний насекомых' сегодня в США активно продвигаются в первую очередь ради военных и создания мини-роботов, которые могли бы следить или, каждый перенеся микро-заряд, синхронно взрывать, например, объекты в автономном режиме). Это - часть программ ДАРПА и оплачивается разным университетским 'командам'.
Про язык надо мне подумать.
Он состоит из внешнего вида условно слов (хотя в нем много уровней, от суб-слов до многословий и т.д.), и из комбинации и приписывания новых смыслов словам.
Последнее происходит по 3-4 механизмм, которые описывали так называемые 'когнитивные лингвисты'. Это - 'соседство', новые смыслы по соседству; метонимия (по части - целое), и наверно обратное, по целому часть; метафора; а также то, что Лакофф называл 'механизмом сказки' (в народе есть история/мем/..., он общеизвестен, и по его логике образуются новые смыслы)
Внешний вид моделировать легче:
задать кучу корней, суффиксов, префиксов - и запустить генерацию вариантов. Отбор можно делать 'по легкости произношения', так чтобы образования вроде 'вспрыстнуть' были редки, но те, где один-два согласный перемежаются с гласными - чаще (при том запрещая или разрешая 'детские повторения' как в дикарских языках, вроде мамаба, тукатуки и проч.)
Это было бы собственно, программным перебором комбинаторных вариантов, не более.
Но 'гены' как и в биологии как бы должны быть ответственны за 'внешние признаки', один ген за несколько разных (например, одновременно за маленький рост, выпученные глаза и особого вида идиотизм даунов), разные гены притом могли бы отвечать за одно внешнее проявление (голубые глаза могут возникать из-за разных комбинаций 'генов').
Собственно, приставки и суффиксы внутри слов есть тоже как бы прото-слова каждое со своим(и) смыслом(лами), а потому слово есть на самом деле редуцированное словосочетание:
под/с - ров - нять/нивать/явший/..., слово есть чуть ли не сжатое предложение.
Это становится очевидно если посмотреть на другие языки, родственные по индоевропейской группе:
то, что в русском выражается префиксами
(ебать, уебать, отъебать, переебать, выебать, заебать, взъебать, ...) - в английском передается 'послелогами', частицами после глагола:
come over, come on, come up, come through, ....,
но когда из глаголов в языке создается существительное, эти штуки перебегают в начало слова, в точности как русские префиксы:
overcoming, on-going matters, upcoming events, ......
Это - одно и то же, в силу эволюции развившееся в 2 разные формы в славянских и в германских языках ( в немецком эта штука еще выраженнее, в словарях 'словарную' форму глагола пишут с частицей впереди, но в употреблении и разных формах она отклеивается и идет сзади)
В том как сделать эволюцию здесь, надо бы подумать. 4 механизма образования новых слов и смыслов для существующих слов описаны у 'когнитивного лингвиста' Лакофф'а (университетский еврей на Западном побережье США, подрабатывающий созданием пропаганды для демократической партии).
Когнитивная лингвистика, несмотря на все обещания, не продвинулась слишком далеко, выявив разве подобные механизмы.
Лингвистика, посвященная формальному кручению слов и их частей, была популярна начиная с 60х, примерно, и приобрела популярность из-за компьютерных языков и нужд их генерации/парсинга формальных грамматик.
Также интересно было бы, если бы удалось внятно выделить куски/гены и правила их комбинации/порождения, а также правила отбора, похожие на правила человеческих языков - также интересно было бы попробовать запустить 'эволюцию' из 200-300 самых частых слов английского, или русского, и обнаружить создание очередного 'белорусского' или 'украинского' или даже 'польского' или 'чешского' (введя правило убирания гласных где только можно).
Ну или там немецкого, шведского и английского.
![[User Picture Icon]](http://l-userpic.livejournal.com/12623476/1910342) |
| From: | ![[info]](http://l-stat.livejournal.com/img/userinfo.gif?v=92.1) emdrone |
|---|
| Date: |
Декабрь, 7, 2011 04:48 (UTC) |
|---|
|
|
part 2
|
(Link) |
|
Кстати, ЕЩЕ ОДИН МЕХАНИЗМ:
в натуральных языках самые частые скажем 2000-3000 слов, составляющие 'систему языка' удивительно устойчивы на протяжении сотен лет, даже тысяч - именно поэтому мы способны быстро понять средневековый английский/русский, или церковнославянский, ...
Однако быстрой модификации подвергаются частые, но как бы более смысловые слова. где новые смыслы выстраиваются от корня в цепочки, образованные по указанным выше 4 механизмам (метонимия, метафора, сказка/история, ...). Об этом надо бы вам дать ссылку на статьи когнитивных лингвистов. Кстати, Лакофф'а в конце советского времени переводили на русский, надо поискать на интернете.
Так что тема захватывающая.
И кстати, как и исследования эволюции поведения насекомых, может применяться и в военных целях.
Например, если вам надо захватить и расколоть страну, запустите легенды о том, что один народ - это на самом деле разные народы, и сгенерируйте такой программой для него 'народный язык', который был бы мгновенно понятен населению и похож на реальный, но отличался от него как ублюдок укромовы отличается от исторических славянских наречий, или как один ублюдок из Сибири за западные гранты сочинял в своем ЖЖ "сибирскую мову".
Речь это метаязык программирования.
Генерация речи должна предполагать некие цели.
Естественный отбор цели не предполагает. Поэтому и в моих рассуждениях приведены слова про ненужность цели.
А какая цель может у генерации естественно-языкового текста методом эволюции?
| From: | rssh |
|---|
| Date: |
Декабрь, 7, 2011 06:49 (UTC) |
|---|
|
|
|
|
(Link) |
|
Так вроде "генетическое программирование" -- вполне зрелая существующая область. В задачах типа оптимизации оптимального расположения компонент очень давно применяется.
Генетическое программирование — это не совсем то, про что я веду речь. В генетическом алгоритме одним из центральных понятий является целевая функция. Здесь её нет.
![[User Picture Icon]](http://l-userpic.livejournal.com/101538122/855511) |
| From: | potan |
|---|
| Date: |
Декабрь, 7, 2011 06:56 (UTC) |
|---|
|
|
|
|
(Link) |
|
Тема интересна.
Но думаю, что конечным количеством генов нельзя ограничиваться. Надо как-то скрещивать программы.
Оценивать качество текста лучше людям. Скажем, организовав голосование.
Было бы интересно, если бы люди могли добавить свой "ген", и доверить его мутации и места встраивания отбору.
Я уже тоже подумал о том, что сам набор генов должен быть варьируем, чтобы хоть на шаг приблизиться к успеху.
Также думал я над тем, чтобы публиковать тексты в ЖЖ, к примеру, чтобы читатели оценивали приемлемость.
Благодарю за советы, коллега. Ушёл читать и думать.
Кстати, а разве 10 генов с 10 значениями каждый не приводят к 10^10 различных комбинаций, что больше 6.64 бит? Или я что-то не понял?
Да, что-то я комбинаторику забыл :). Но всё равно, это разнообразие получается равным 33 с небольшим бита, что также очень мало.
| From: | voylaf |
|---|
| Date: |
Декабрь, 7, 2011 08:24 (UTC) |
|---|
|
|
|
|
(Link) |
|
Как я понял из той моделирующей программы, это не совсем то. Там показывается то, что целенаправленный отбор намного быстрее решает задачу, чем случайный поиск. Это описано у Докинза, когда он показывает, что можно написать фразу из Гамлета за порядка 30 итераций, вместо бесконечного времени и бесконечного числа обезьян.
Согласен, немного. Вообще я тоже немного думал над похожими вопросами. На мой взгляд здесь одна из самых интересных проблем - смоделировать видообразование. Как из одних видов постепенно (или не постепенно) ответвляются другие? Это ведь на сегодняшний день один из самых больных вопросов эволюционной теории.
Не очень ясно, что является видом у меня в размышлениях :).
На второй вопрос ответит программа - рандомизатор.
![[User Picture Icon]](http://l-userpic.livejournal.com/110181423/37697966) |
| From: | p2004r |
|---|
| Date: |
Декабрь, 7, 2011 10:27 (UTC) |
|---|
|
|
|
|
(Link) |
|
мне представляется что:
1) Смысл отделен должен быть от стиля текста
Для этого типа задач --- стилизация текстов вполне подойдет статистический подход. И генетика должна в этом случае подбирать статистические варианты одного и того же словосочетания пока не получит наибольшую близость к стилю целевого автора.
Смысл текста может генерировать на основании каких то марковских цепочек из заданного по сценарию возможного набора действий. Цепочки проходят отбор, в них подгоняется начало и конец, или нужная последовательность событий.
2) В то же что программа будет просто генерировать сама осмысленный текст я как то не верю ( сначала она должна научиться понимать произвольный текст :) это уже будет состоявшийся искусственный интеллект.
1. Да, годные идеи. Благодарю.
2. Почему же она должна сначала научиться понимать? Это всё равно, что сказать: «Механизм естественного отбора должен сначала уметь анализировать биологические системы путём их декомпозиции, прежде чем он сможет такие системы создавать»...
|
| From: | emdrone |
|---|
| Date: |
Декабрь, 7, 2011 11:21 (UTC) |
|---|
|
|
Эволюця _НЕ_ есть превращение бессмыссленного в осмысл
|
(Link) |
|
Выше вы написали:
Интересно, но тут я уже не вижу схемы естественного отбора. Простая алгоритмика.
Поскольку это как бы общий вопрос, отвечу в корне.
Наверно вы не увидели в какой-то там моей схеме 'эволюции', а увидели 'простую алгоритмику', потому что в головы всем нам намертво вбито представление (представление вульгарного западного дарвинизма), что ЭВОЛЮЦИЯ ЕСТЬ ПРЕВРАЩЕНИЕ БЕССМЫССЛЕННОГО В псевдо-ОСМЫСЛЕННОЕ.
И именно в этом пункте с дарвинистами схлёстываются западные же вульгарные 'христиане'.
Но это же чушь! Эволюция есть всего лишь изменчивость во времени, порожденная естественными причинами/механизмами, и присутствует ли там 'случайность', или нет, можно выделить точные алгоритмы, или мы вынуждены временно, как функцию-затычку в программировании, вносить представление о 'случайности' потому что пока что не понимаем какие факторы вызвали такую-то изменчивость - совершенно десятое дело.
Например, колебания температуры вызвали подавление выработки таких-то веществ в культуре клеток, что привело к увеличению относительной концентрации других веществ, которые через ряд посреднических механизмов вызвали изменения генов и реплицирования последующих поколений клеток этой культуры. Которые остались надолго в новых условиях.
Мудаки будут спорить, что 'это противоречит идеям Дарвина, потому что голимый ламаркизм' - и будут полностью неправы. Потому что подобное работает себе в реальности, в природе, ни у кого не спрашивая разрешения.
Однако если и пока они не знают всей цепочки причин и следствий, ученый могли бы в своих представлениях подменить эти влияния размытым понятием "случайности", которая "модифицирует гены", по поводу которых потом "происходит естественный отбор".
Человеку с широким взглядом на эволюцию (к которым, кстати, Докинз не относится, he's peddling the more ignorant and older model of Darwinian evolution), все вышеперечисленное абсолютно до балды. Потому что для него главным поступатом (или открытием, или осознанием) является факт изменчивости живой природы во времени, а не борьба с церковниками или отстаивание, что суть именно в осмысленных результатах бессмысленного.
ВТОРОЕ Если теперь вспомнить о языке, то в нем "эволюция" слов (образование новых и приписывание новых смыслов существующим) идет вполне себе 'алгоритмически', при этом обладая базисным свойством, что, зная алгоритмы, можно задним числом объяснить изменения, но предсказать их заранее нельзя.
Это очень просто понять:
допустим, условно, 'рубить' в историческом смысле сочетается с 'деревом', 'дровами', и т.д.
Когда происходит (метонимический, метафорический и т.д.) перенос его на новую область, то образуются например 'рубить' по отношению к речи, и т.д.
В каждый момент при образовании новых смыслов можно пойти по 4м основным развилкам, в сочетании с тысячами новых семантических областей. Предсказать что 'ВЫЖИВЕТ ПОСЛЕ ЭВОЛЮЦИИ' в языке невозможно, но задним числом увидеть по какому механизму оно случилось сравнительно легко.
Поэтому нет ничего странного, что аналогом 'генной мутации' в языке могло бы быть комбинирование (из достаточно большого набора) без однозначного результата, дающее некое множество, а аналогом 'отбора' могло бы стать (а) удовлетворение принципам произносимости (б) подмножество самых коротких ответов и (в) персональный выбор экспериментатора-человека, производящего computer simulation развития языка на программе-модели.
Отлично. Вы раскрыли мне глаза на некоторые вещи.
1. Нужно определиться, что у вас будет "особью" - предположительно, это текст на некотором языке (вернее, некотором уникальном диалекте). Тогда у вас будут "гены" (точнее, скорее модули генов - регулоги) всех языковых категорий - синтаксис, грамматика, орфоэпия и т.д. "Видом" будет корпус текстов на достаточно сходных диалектах.
2. Поскольку естественные тексты "живут" на людях, то и аналогом естественного отбора будет некая оценка со стороны людей.
3. Помимо точечных мутаций, важным движущим механизмом эволюции является дупликация с последующим расхождением/сцеплением (как отдельного гена, так и всего генома). Также кажется целесообразным выносить части обработчика в "гены".
Благодарю за идеи. Продолжаю думать...
Набросал сегодня простой генератор текстов, похожие на человеческие. Вот что примерно он выдает:
1. (тут я расставил пунктуацию сам) ... было выгодно rucenter. Разразился скандал. КЦ потребовал прекратить проведение аукционов rucenter. Аукционы все же не покинули швецию полностью, хотя и планирует получить с каждого проданного продукта sony, имеющего функцию проигрывания bluray дисков, рассказывают представители компании. Управлять медиацентром можно будет не меньше ...
2. (а тут было лень) поводу нет самой свежей но еще января года в эфире телеканала россия щеголев обосновал свое заявление прогнозами общественных организаций занимающихся образованием интернет пользователей в феврале года на поисковик пожаловались конкуренты в частности ibm hp dell и стоит около тыс за год это
3. (и тут тоже) ведь разработка продолжалась около пяти лет находящийся в настоящее время присутствует изображение повстанческого флага и сообщение в котором изложил концепцию отношения российского государства к интернет сообществу письмо было одобрено правительством рф в конце сентября источник
Суть вопроса - вам что-то вроде таких текстов хочется или нечто более осмысленное?
Хочется чего-то более осмысленного. Например, поэму Шекспира :).
Такие штуки мы писали тоже. Я как-то скормил подобному генератору для обучения все тома Карлоса нашего Кастанеды и на выходе получал такие откровения, которым сам бы нагваль был бы удивлён.
Благодарю. Буду знакомиться.
Ссылки.ПЕРВОЕ Когнитивная лингвистика - какие механизмы встроены в язык (если играть в эволюцию языка, то неплохо было бы посмотреть, какие механизмы интересно было бы промоделировать), вне механизмов формальных трансфигураций и формальной грамматики внешних форм: George Lakoff "Metaphors We Live By". Есть в английском оритинале и русском переводе (неизвестного качества): Последний поиск даст вам и другие книжки, но они слишком толстые и размытые, как это принято у нетехнических персон, чтобы убивать на них очень много времени. Популярная брошюрка о Метафорах возможно достаточна вначале. ВТОРОЕ Далее, если играть в эволюцию, то - что такое 'эволюция'?? Сегодня все кидаются этим словом, часто подразумевая разное или даже выступая как представители разных фанатических сект необъявленной открыто религии. Я читал (достаточно популярные) статьи биолога Красилова (есть на Интернете) - они дают обзор. Эволюцию по-старому (случайная изменчивость, потом поддержанная отбором) понимать слишком узко; сегодня видны многие другие механизмы эволюции. Интереснейшее на самом деле чтение, из соображений здорового любопытства и самообразования. В.А. Красилов, доктор геолого-минералогических наук, профессор. Когда гибнут сильные Опыт поставленный приротой
И разбитая на 3 части его статья "Эволюция: Дарвин и современность"
http://evolution.powernet.ru/library/contemporaneity1.htm
Есть еще книга, но она длиннее статей и в целом о том же
![[User Picture Icon]](http://l-userpic.livejournal.com/40965612/6959856) |
| From: | thesz |
|---|
| Date: |
Декабрь, 10, 2011 19:38 (UTC) |
|---|
|
|
|
|
(Link) |
|
Благодарю за ссылки, коллега. На досуге изучу всенепременнейше.
![[User Picture Icon]](http://l-userpic.livejournal.com/113580007/42706964) |
|
|
|
про генерацию текстов
|
(Link) |
|
http://habrahabr.ru/blogs/robot/128281/#comment_4240339
|
|
![[info]](http://l-stat.livejournal.com/img/google-profile.gif?v=92.1){kind=small}
![[info]](http://l-stat.livejournal.com/img/twitter-profile.gif?v=92.1){kind=small}