17 марта 2009 в 9:14
Вроде бы тема секретом ни для кого не является, а используют ее единицы. Даже здесь информация весьма скудна. Рискну предположить, что такая картина от отсутствия нормального описания и займусь просветительской деятельностью (или изобрету велосипед). Или от лени — как это было у меня, но ровно до тех, пока не пришлось встать утром и разгребать авгиевы конюшни из почти шести сотен комментарием порноспама. Давно известно, что капча, как и замки, от честных людей и при некотором усилии со стороны спамеров пробивается. Обычная математическая стоит на многих сайтах, в своем блоге о Warhammer использовал скрытую капчу, созданную neochief, которая по сути та же математическая. Не держат мощный и целенаправленный удар графические и все прочие разновидности. Но против лома есть прием - называется Mollom.
Mollom — проект Дриса Байтаерта и Бенджамина Шраувена, запущенный менее года назад, направлен он на защиту от спама сайтов.
Установка
- Берем одноименный модуль с drupal.org или прямо с сайта mollom.com (там же есть уже готовые плагины для других CMS и библиотеки на разных языках программирования).
- Регистрируемся на сайте mollom.com, добавляем сайт с выбором языка, получаем для него ключи — приватный и публичный.
- Выключаем у себя на сайте все модули капчи, с ними будет конфликт. Можем даже удалить их полностью, все равно они нам больше не понадобятся.
- Включаем модуль mollom и вводим ключи.
Как это работает
Mollom использует эвристический анализ текста сообщения, по аналогии с антиспам-фильтрами в почтовых клиентах, на основе чего и решает, зарезать или опубликовать. Бывает, что система не может определить, спам это или нет — в эту категорию попадают короткие сообщения, которые вроде как по теме, но данных для анализа недостаточно. Тогда mollom предлагает ввести капчу. Боты на этом обламываются (к сожалению, это временно). Мне как стороннику
На картинке справа - фрагмент лога, хорошо видны все три варианта действий mollom
Для оценки качества текста mollom использует удаленные сервера. В комментариях пишут, что это дополнительный трафик и время. Да, это так, но на хорошем хостинге можно себе это позволить, в конце концов за все блага надо платить так или иначе.
Моллом обучаем — на пробившийся спам можно сказать - «вот этого я больше видеть не хочу» и указать одну из нижеследующих причин:
- Сообщить о тексте, как о спаме или рекламе
- Сообщение о тексте, как о непристойном или оскорбительном
- Сообщить о тексте, как о неграмотном
- Сообщить о тексте, как о нежелательном, дерзком или уводящим от темы
В дальнейшем mollom будет учитывать эти пожелания (привет написавшему hhh, провели дрессировку). Равно как и может обучаться самостоятельно, но его способы обучения все же загадка.
Есть и недостаток — судя по всему, возможности вытащить попавщее под нож анти-спам репрессий невинно убиенное сообщение нет, равно как и объяснить «mollom, ты не прав». В целом не проблема, но подозреваю, что ненароком убитый с жалобой нормальный комментарий может потом испортить немало крови новым пользователям. Хотя рад и ошибаться.
Результаты
За последнюю неделю зарезано несколько десятков спамерских комментариев и пропущены все нормальные, с капчей или без. По официальной статистике успешно обрезается 99,96% спама.
PS
В комментариях отметились противники, утверждающие, что это мертворожденный проект и у них есть лучшие решения. Ваше право, чем больше разнообразные инструментов борьбы со спамом, тем лучше. Никого не заставляю бежать и ставить, а рассказываю об одном из возожных решений.
А еще мне, как строннику мнения "Пользователю должен испытывать минимум проблем и неудобств на сайте" претит использование все более сложных замков для защиты от всяких ненатуралов, мешающих нормальным людям.
Комментарии
То есть русскоязычный спам банится без проблем? Моллом ведь не бесплатен. Там вроде бы ограниченное количество бесплатных срабатываний, верно?
> Ромка
До 100 коментариев в день бесплатно, от 100 до 10 000 - платно. 30 евро в месяц за сайт.
А почему вы думаете, что система у вас пропустила все хорошие комментарии? У меня в блоге стоит mollom и судя по некоторым отзывам часть совершенно нормальных комментариев оно не пропускает. Кроме того у меня одно время было ощущение, что капча показывается вообще всем людям, которые впервые комментируют записи в блоге, вне зависимости от содержания комментария.
Банится. При регистрации сайта в Mollom указывается, что сайт на русском.
По оплате. На беслатном обрабатывается сто срабатываний капчи в сутки, при этом, насколько я понимаю, есть рейтинг доверия к пользователю. Это явно больше, чем сто комментариев в сутки, но на достаточно большом проекте можно запросто вылезти за пределы. Правда сайт с такой посещаемостью должен приносить сильно больше одного евро в сутки : )
Но как по мне не хватает еще одного тарифного плана для средних сайтов, посрединке между free и plus.
Потому что я неделю специально мониторил лог, там все это видно. А то, что возможности сказать, что ты зря это сделал, дорогой, это же политически верный комментарий, нет - я написал. Недоработка, да.
Да, и еще не забудьте, что Моллом при оценке месседжа лезет на удаленный сервер Моллома, там отрабатывает скрипт, возвращает его результат на ваш сервер, после чего отрабатывает скрипт "пропустить-не пропустить, спам-не спам". Траф, время, ресурсы. При этом ваш сервер должен позволять все это делать, на некоторых хостингах удаленные обращения закрыты. Если неправ, поправьте.
Да, так и есть. Чуть позже добавлю в пост.
За преимущества всегда необходимо чем-то платить. В данном случае это "траф, время, ресурсы", а в конечном счете деньги на нормальный хостинг.
По-моему идея несостоятельна, как и бум пару лет назад антиспама на корпоративных почтовиках, забыл уже как он называется. Тоже с эвристикой.
В итоге между тем, чтобы видеть спам, но и видеть всё полезное или не видеть спама, но и пропускать важные письма - приходится выбирать первое.
идея Моллом, также как и спам списков и прочего, давно доказала свою несостоятельность... есть же нормальные решения, нужно просто немного подумать...
ridder капча, например... никогда бот не отгадает смысловую капчу, каким бы умным он ни был... а вопрос я могу сменить в любой день... а в ручном режиме никто спамить не станет, так как это слишком затратно и не оправдывает вложений...
Поддерживаю. Именно поэтому тема "ни для кого не секрет, а используют ее единицы". А еще и за деньги... потому Дрис столько сил и тратит на ее продвижение... видимо толку не много... для определенных крупных компаний (не корпораций) с значительными скидками может это и можно продать. Не более. Чего Дрис влез в эту тему, мне не ясно.
А где там лог? Или вы по базе данных смотрите?
Зато на своём сервере не нужно генерить капчу
Нет универсальной пилюли от всех болезней и никогда не будет. То, что есть масса альтернативных вариантов - это хорошо. Выбор это всегда хорошо. Каждый может выбрать себе по потребностям и возможностям.
У любого решения есть свои плюсы и свои минусы - это нужно понимать. Я сейчас использую Моллом и нахожу это решение удобным для себя в данный момент и на данном сайте. Рекомендовать его другим я бы не стал, а предложил бы как один из вариантов.
Минусы уже хорошо описали, а из плюсов, которые не сильно раскрыты, я бы назвал то, что алгоритм может обучаться. Бесплатный тариф у Дриса будет всегда - это даёт алгоритму возможность обучаться и быть в курсе событий, хотя у себя в блоге он преподносит это как подарок миру - см. Mollom вышел из beta. Таким образом алгоритм хорошо (я надеюсь) учится и будет всё лучше с течением времени. Обычная и необычная капча не обучается.
PS. Ручной спам уже существует и это выгодно. Есть страны, где 3 бакса это большие деньги, есть проект "Каждому ребенку по ноутбуку" и эти самые ноуты везутся бесплатно в эти самые страны. В этих ноутах есть все, что нужно для работы в сети, ось - своя сборка Линукса. Их можно купить за 400 баксов в Великобритании (это плата за свой и за тот, что от вашего имени отправять в эти самые страны 3го мира). Короче говоря ручной спам уже есть, есть русскоязычные биржи ручного спама (чуть не написал российские). Поэтому вопрос серьезный.
У меня тоже он используется. Мне нравится что Друпал так всесторонне поддерживается. Это хорошо.
Все очень просто. Нравится - пользуйтесь. Не нравится - не пользуйтесь и ищите что-нибудь другое. Чем больше выбора и разнообразнее защита - тем лучше. Меня сейчас более чем устраивает и думаю, что я не одинок.
Да, в БД. Там в фильтрах новый пункт добавится - вот как раз выборка по нему на скрине и есть. Весь пост или комментарий целиком сохраняется.
Да вроде написал о дрессировке. Или он еще и самостоятельно обучается? Как-то не задумывался над этим.
Да, и никакая капча от этого не спасет, а эвристика может помочь.
«Обычная и необычная капча не обучается.»
Опять-таки на примере электронной почты (вспомнил - spamassasin ) эвристика только гробит всё, так как со временем она учится только удалять человеческие комменты.
Да уже давно не роботы спам-посты пишут, а живые люди
С сегодняшнего дня Mollom установлен на drupal.ru. Посмотрим, что за зверь. Установка простая, после активации становятся доступны настройки - выбор где использовать капчу, где анализ текста. Можно выбирать установки для каждого типа контента, для комментариев и форм contacts. Симпатичная статистика на флеше. Таки Dries делает красивые вещи
Забавно, если смотреть по карте http://mollom.com/scorecard, то большинство спамеров обитают в Англии - больше чем во всей остальной Европе. А в России вероятно самые большие территории пока ещё spam free
Говорит, что я спамер. Мне кажется, он в гугле ищет совпалдения и при наличии идентичного текста считает спамером.
Похоже первая ласточка, точнее козел-спамер по имени Alex123 прошел через Mollom.
Угу, ласточке пришлось подрезать крылья (обрубать рога) вручную. Фиг знает, наблюдаем дальше. Mollom в статистике рапортует уже о 8 тыс. блокированных попытках спама за 2 дня. Мне уже слегка стрёмно - безо всяких модулей спама тут появлялось куда меньше. Десятки сообщений в сутки иногда сотни, но не тысячи же.
Возвращаясь к теме: на drupal.ru моллом оставлен только на регистрации и формах контактов. Эвристика отключена, т.к. поступило больше десятка жалоб на проблемы с заведомо неспамерскими постами. В опросе в аккаунте на сайте mollom выставил оценку 2 из 5 - работает красиво, но пока бестолково. Нет возможности указать неспам (ham), а сама система похоже предпочитает ошибаться в сторону запретов. Может быть пока у них небольшая база сообщений на русском и в этом проблема? Однако, пусть работают над ошибками.
При этом я считаю направление эвристики для отлова спама (и вообще для категоризации контента) очень перспективным. Со временем полагаю алгоритмы доведут до ума. Кстати, ведь тот же модуль spam для друпала (смесь эвристики и ограничивающих правил на постинг ссылок) работал под D5 вполне неплохо.
Надо по логам смотреть. У меня за два дня четыре тысячи блоков было, но это все с одного адреса какое-то дерьмо пыталось спамить. Забанил этот IP - упало до единичного количества.
Я думаю, моллом включает в свою стастистику все неудачные попытки добавить сообщение. Я вчера пост 5 раз не мог отправить. Видимо, 5 раз и в статистику попал. В общем, мое мнение, моллом раздувает статистику.
Не мог отправить из-за капчи? Верну я пожалуй проверку для всех ролей, в том числе для админов. Надо самому это увидеть, терять полезные посты из-за антиспама не хочется.
Ника не могу написать сообщение в блог
не пускает меня фильтр спама и все тут: "Your submission has triggered the spam filter and will not be accepted"
Причем вопрос хотел задать важный, по безопасности сайта. Уж точно не спамеркий ни по каким критериям не должен быть похож по идее.
Сейчас сравнил лог по фильтру mollom с его же графиком. Результаты маленького расследования - или очень сильно раздувается лог, или в попытки спама заносится какие-то действия неопределенного характера. Иначе я объяснить превращение трех неопределенностей в девятнадцать заблокированных действий не могу.
А здесь, похоже, сбываются мои опасения относительно некорректного срабатывания и невозможности объяснить, что это таки не спам.
Вот тут есть кое-что интересное: http://drupal.org/node/353588. Но помещать каждого пользователя в вайт-лист ручками разработчиков - это маразм какой-то.
Не мог отправить из-за сообщения Your submission has triggered the spam filter and will not be accepted"
Капчу увдел толкьо когда яваскрипт включил. Может еще из-за отключенного яваскрипта принимал за бота
Подумал вдруг я тож капчу не вижу из-за того что пост в блог через Оперу пишу. Открыл FF и...
опять облом, не пускает и все тут.
Капчи нигде не вижу. Ява-скрипт включен.
Начало статьи было оптимистичное, конец - не очень. Я у себя использую капчу + ручную пре- или постмодерацию.
Как я и говорил, вот и весь результат этой вашей эвристики - как и давно доказано на примере spamassasin - единтсвенное, что умеет эвристика - со временем учиться блокировать абсолютно нормальные посты.
Странно, а вы же комменты не анонимом пишете?!
У меня всё проходит и ни разу не было никаких срабатываний ложных. Может быть вы всё таки спамеры? Я думаю, что моллом может реагировать на плотность ссылок в тексте. Если постить ссылку и 3-4 слова, то вероятно это засчитается спамом - такое у меня было.
Может, вы всё-таки подумаете, к чему хорошему может привести внедрение на сайта искусственного интеллекта(читай-эвристики), когда он ещё не создан банально.
FineReader и переводчик гугла - искуственный интеллект в техническом (не киношном
) смысле слова.
«FineReader и переводчик гугла - искуственный интеллект в техническом (не киношном
) смысле слова.»
Не смешите мои носки.
Материал из Википедии — свободной энциклопедии
Интелле́кт (от лат. intellectus — понимание, познание) — общие способности к познанию, пониманию и разрешению проблем. Понятие интеллект объединяет все познавательные способности индивида: ощущения, восприятия, памяти, представления, мышления, воображения.[1]
И файнридер, и переводчик, и моллом - всего лишь тупая компьютерная программа, основанная либо на изначально заложенной логике и алгоритмах, либо на нейронных сетях(если вы их программировали, вы поймёте, почему они никогда не заработают как надо). Все они одинаково плохо справляются со своей задачей, потому что в их основе лежит алгортим - от простейшего до сложного(в сетях), но всего лишь алгоритм. алгоритм - это не интеллект, не способность к познанию, не понимание проблем.
Прохождение теста Тьюринга или "китайской комнаты" - это интеллект? Какая разница, что там внутри, если по внешнему поведению оно воспроизведёт человека. Определённо некорректно сравнивать мозг с компьютером - абсолютно разные архитектуры, но алгоритм как последовательность действий может ведь использоваться и человеческим мозгом. С другой стороны машинный алгоритм может быть самоизменяющимся: накопление знаний + пополнение правил для их обработки (базы знаний и языки вроде LISP - изобретение несколькодесятилетней давности). Чем это не интеллект, если оно сможет познавать окружающий мир? Другое дело, что на нынешнем этапе алгоритмы не доработаны и тот же тест Тьюринга afaik толком никто не прошёл.
тестировал более двух месяцев моллом на нескольких десятков сайтов. мораль. нах, нах, нах. ужос. юзеры разбегаются. оставил на нескольких буквально и то только для регистрации. всё остальное перевожу на маткапчу и премодерацию обратно.
зы. письма дриса заманали. сам он спамер. изза своего говномоллома зарезал прекрасный проект акисмета.
Спамеры подпишутся на моллом и будут на десятке сайтов его тренировать на пропуск спама
Axel, интеллект, если утрировать определение Википедии - возможность с нуля разобраться в чём угодно. То бишь если программа сможет пройти тест Тьюринга, не будучи совершенно заточена под него - это интеллект. А если программа специально разрабатывается под определённую задачу и при этом не способна решать соверщенно другую - это не интеллект. Это алгоритм, пускай даже чуток изменяющийся.
мне кажется, что их сколько угодно, запрограммированных на узкий набор задач – грызть семки, пить пиво...
и не каждый из них пройдет тест тьюринга
В ту же тему: уже в 90-х годах коллега по работе рассказывал об установке windows в бухгалтерию, где тётки-бухгалтерши (при всей их странности существа явно обладающие интеллектом) не смогли понять что делать с мышью. Они также как описано у Раскина пытались водить ей в воздухе и нажимать кнопки, пока выпавший в осадок от такого обращения программист им не объяснил как пользоваться этим новым устройством. Я думаю даже нажатие кнопки задача тоже довольно нетривиальная и не факт, что "чистый интеллект" с ней справится. Просто для человека этот интерфейс привычен уже веками - мы знаем, что если есть какая-то пимпа её можно попробовать нажать или дёрнуть, просто потому что обучились этому с детства на примере окружающих.
Резюмируя. Если у человека нет базовых представлений о вещи, то его интеллект может и не понять, что это и как с этим обращаться, даже для на первый взгляд простых предметов. Поэтому заявление "с нуля в чём угодно" полагаю некорректно. Лучше уж вернуться к определению википедии, где говорится о памяти, т.е. читай - жизненном опыте. В какой-то мере для компьютера жизненным опытом можно считать предопределённый в программе набор правил - алгоритмов для обработки тех или иных ситуаций.
Если друг Билл не победил - куда там моломам...
и это его основной прокол.
и тогда зачем он? сегодня, я так понимаю, «мое дежурство» ) и дежурство вот этого спамера — удалите его.
Не соглашусь
axel, да ты можешь сколько угодно соглашаться или нет. искуственного интеллекта пока нет. даже предпосылок для его воплощения.
тута спорящие видят настоящий AI только в виде Скайнет
типа, пока на Человека не замахнулось - это не AI
Полторы недели не белы, а какие жаркие страсти кипят : )
Даешь андроидов в каждый дом!
Себе оставлю работать, пока нареканий нет. Во-первых, комментариев не столь много, как, например, здесь. Во-вторых, тематика сайта и комментариев отличается от спама. А всякое дерьмо mollom режет исправно и в приличных количествах.
Но с позиции месячного использования смотрю на моллом несколько иначе и, конечно, не столь радужно. Чтобы инструмент был удобным нужно добавить немногое.
1. Дать больше воли администратору. Чтобы mollom был лишь лишь первой системой защиты, а любое зарезанное сообщение было возможно опубликовать руками. Возражения вида "спамеры обучат" не принимаются, ибо обучение идет для отдельно взятого сайта.
2. Должны учитываться заслуги пользователей до установки системы. Как-то странно выглядит, что человек с годом стажа, десятками постов и сотнями комментариев проверяется с нуля. Или хотя бы должна быть возможность сказать "верить всем зарегистрированным на данный момент".
2 axel
01/04/2009 - впервые попробовал воспользоваться местной почтой, на что получил сообщение:
Your submission has triggered the spam filter and will not be accepted.
думал что временно/просто что-то не настроено. Но судя по-всему я попал в спамерскую базу. Попробовал поменять мыло на не с бесплатного сайта результат то-же. Как быть?