Игорь Ашманов о социальных поисковиках

Игорь,
спасибо за замечания, обязательно учтем )))

кстати, редактора получают зарплату, и все вопросы касательно регламента можно обсудить на форуме.

радакторА, может, и получают, а вот редакторЫ...

Дельный комментарий.

У Ашманова, как мне кажется, более интересная и перспективная модель. По той простой причине, что им есть что предложить своим партнерам.

В принципе, и в том и другом проекте значительная роль отводится редакторам. Но мне кажется, что модель Ашманова более "партнерская", скажем так. Во всяком случае, рулить собственным поисковичком намного интереснее, чем редактировать еще один каталог.

Я вполне себе представляю, как будет развиваться поиск АиП и не сомневаюсь, в данном случае, что Ашманов двигается в правильном направлении. imho.
А вот как будет развиваться adre, что в нем такого интересного, кроме как подтверждения того факта, что можно запустить собственный поиск с никаким бюджетом, я совсем не вижу. imho.

Единственное конкурентное преимущество adre.ru могло бы заключаться в открытых алгоритмах, в прозрачном ранжировании - это, собственно, и есть основная идея Nutch. Но они эту возможность сознательно отключили.

Игорь спасибо за слова поддержки.

"Проект поисковика Тропа.ру вроде бы, по заявлению создателя Б.Моисеева, также должен опираться на сообщество экспертов, но пока посмотреть нечего."

Мне, при создании экспертно-поисковой системы tropa.ws (tropa.ru – это тестовый сайт), хотелось бы делать упор не на сообщество экспертов, а на свойства человеческого организма. Свойствах восприятия информации отдельными пользователями, Свойствах самоорганизующихся систем.
Эксперты это условное обозначение информационной единицы способной генерировать информацию и устанавливать связи. Если будет заложен механизм, в котором можно хранить информацию и устанавливать связи, то сообщество достаточно быстро самоорганизуется. Если пользователь сможет быстро и эффективно решить возникшую передним задачу с помощью Тропы, то он не сможет пользоваться существующими поисковыми машинами, поняв всю неэффективность их.
Я ставлю задачу по быстрому и эффективному нахождению решения проблем, возникающих в процессе жизни. Если я добьюсь этой задачи, то мой 1001 вариант поисковой машины будет № 1.
В том варианте, который выложен на tropa.ru я могу собирать информацию, хранить ее в удобном для меня виде и работать с нею.
То над чем я работаю в настоящий момент это написание второй части ТЗ, в которой я планирую заложить различные варианты существования сообществ, поиск по сообществам, и интеграцию новых сообществ в существующие.
И основным сдерживающим фактором моей работы это отсутствие финансирования. Если есть инвесторы, которым интересно данное направление, то добро пожаловать!!!!
Только представьте себе, что я имею шанс стать ведущей мировой информационной площадкой, что с помощью Тропы любые вызовы, брошенные человечеству, будут эффективно преодолеваться.
:) Теоретически будет заложен механизм, используя который прилетевшие инопланетяне смогут интегрироваться сообщество землян. И т.д.
Если данная тема интересна Планете веб, то могу с картинками рассказать, что и как будет.
Еще раз спасибо Игорю за упоминания моей работы!

2Борис М
че курим? )

Вот объясните мне, тупому (или отошлите к статье соответствующей), почему поисковики не реализуют объектный поиск? Вот скажем пишу я в поле запроса "ООН", в 1-м выпадающем списке выбираю, что это "Название организации", а 2-м списке выбираю, что хочу найти "Сайт этой организации". И мне выдает на 1-м месте сайт ООН. Неужели это так сложно организовавать?

Туго, очень туго... Такой поиск будет напрягать... Но реализовать его, как "улучшенный поиск" можно было бы..

Поддержку социальных сетей нужно встраивать в браузер.
Браузер должен собирать небольшую статистику о посещаемых сайтах (время просмотра, глубина и тп.) и ананимно в зашифрованном виде передавать в открытую базу данных в свободный доступ.

> Стоимость работы редакторов в конце концов влетает в копеечку. А если они - неоплачиваемые добровольцы, то встает острый вопрос о контроле и качестве их работы

Пока редакторы adre.ru не очень-то напрягаются -- существенная часть описаний ресурсов заимствованы из dmoz.org и yaca.yandex.ru. Что является прямым нарушением лицензий этих обоих ресурсов.

См. также комментарий Ильи Сегаловича в соседнем топике http://www.webplanet.ru/forum/news.html?news=10994

2 Борис М. помоему Ашманов Ваш проект не поддержал, а просто упомянул. и я Вам советуб почитать правила Ашманова -управление проектами . там есть Правило 5, которое гласит

"Правило 5. Программист испытывает страсть к обобщению.

Программист всегда всеми силами стремится сделать работу наиболее общим способом, чтобы потом только настраивать и прилаживать готовую систему. В этом - суть программирования и его сила.

И в этом же - серьезная угроза бизнесу. Если дать разработчику волю, разработка общей платформы отнимет 100% времени и денег, и продукт никогда не выйдет на рынок.

Поэтому программирование в наиболее общем виде нужно категорически запрещать. Верным признаком страсти к обобщению является планирование создания мощных ядер и наиболее общих платформ со сроками исполнения больше года.

Баланс между обобщением и текущими требованиями рынка достигается опытом и соображениями бизнеса. Программистам доверять здесь абсолютно бессмысленно, как бессмысленно обсуждать с пьяницей семейный бюджет."

Я думаю что ваш проект сверх обобщен, если вы планируете делать интеграцию для инопланетян :).

У dmoz.org в верхнем правом углу написано "In partneship with AOL.Search", такчто да же толпа бесплатных редакторов не спасает от нехватки финансирования, а если за это еще и платить, то вообще непонятно откуда взять денег на содержание? а ведь самое дорогое это распеарить проект. гугл с его мегаресурсами пока не может победить яндекс в рунете, а вот adre шапками похоже всех закидать решил :).

Есть идеи, есть концепции, есть некоторые попытки хоть что-то сделать.

Но пока нет главного - хотя бы одного реального готового проекта, которым все могли бы с удовольствием пользоваться.

Хотя есть надежда, что рано или поздно, кто-то все равно в этом деле добьётся успеха.

2 Юрка

че курим? )

:) я не курю!

2 Roman, любое упоминание это уже событие. За него и спасибо!

"Я думаю что ваш проект сверх обобщен, если вы планируете делать интеграцию для инопланетян :)."

:) речь идет о системе, к которой могут подключиться любые сообщества. Представь себе проект "Территория" со встроенным поисковиком! Там сообщества делятся на гильдии. У каждой свои ценности, лидеры и аутсайдеры. Им важно иметь на первых местах в результатах выдачи те ссылки, которыми они дорожат, в моем это организовать не проблема!.

А насчет програмистов на 100% согласен. Вторую часть пока сам торможу... есть причины.
А первой сам пользуюсь... правда ее подправить немного нужно...

Кстати Игорь, я попробовал Ваш персональный поиск, запросы выполняются за неприемлимое время в принципе.

Пробовал искать на разных поисковиках и разное, в среднем около 10 секунд.

В общем никуда не годится.

Ну, это же бета, всё ж таки.
Да, там есть проблема. Но это не проблема скорости поиска, это проблема загрузки, то есть скорости первого запроса.
Вы ведь давали запрос, переходили к следующему поисковику, снова давали запрос и так далее, верно?
Первый раз всё поисковое хозяйство грузится для конкретного поисковика долго, над этим работаем, скоро поправим.
Если тут же тому же поиску давать второй и третий запрос (тот же или любые другие запросы), то должно быть уже быстро.
Замечу, что у клиента этого, конечно, не должно быть видно, если поисков хотя бы несколько десятков в день.

P.S. А их может быть много, кстати. Мы ещё не выкатили статистику для всех авторов поисковиков (сделаем в июне, надеюсь), но я видел, как тут для кого-то по запросу высылали её почтой, там за месяц 13,000 запросов. Это довольно много для одного из рядовых поисковиков, только что сделанных. Им всем не больше месяца, по сути.

Пошел специально загрузил отдельный поисковик (его уже сегодня пробовал) ввел 3 запроса подряд дожидаясь ответа полного от каждого. Результат - 10-15 секунд. При том, что я искал даже не сложный запрос.

А какой объем документов которые вы проиндексировали?

А объём не имеет отношения к делу - ведь на каждый сайт свой отдельный индекс, он же всегда не больше 1 Гбайта.
Там проблема, видимо, не в этом. Я такого эффекта почему-то не могу увидеть. Грузится действительно долго, но потом летает. А на каком поисковике тормозит?

http://public.novoteka.ru/medequip?query=%EA%E0%F2%E0%EB%EE%E3

вот тут. вообще такое ощущение что вы используется ммапнутые деревья для каждого поисковика свои и в этом и кроется проблема.

mmap-нутых деревьев мы точно не используем.

Продемонстрирована проблема с индексацией обвязки сайта - этот несчастный "каталог" вылез из левого меню, а пользователь снял галку "группировать по
сайтам"

Аналогичный результат достигается, если поискать слово из обвязки по одному сайту любым поисковиком:
http://www.webalta.ru/search?q=nginx+site%3Awww.lexa.ru
http://www.yandex.ru/yandsearch?text=nginx-ru&pag=u&surl=lexa.ru

Проблема нам известна, мы в-общем знаем как ее побороть (автоматически удалить навигацию при индексировании), но пока только в виде работающего прототипа.

2 Заур - я реализовал объектный поиск, пока только по "тэгам", довольно ресурсоёмкая штука, и к ней очень трудно сделать удобный и одновремемнно понятный интерфейс. В принципе, к "не совсем понятному" пользователи довольно быстро привыкают...

Работает как раз по принципу уточнения запроса, Заодно объектная модель закрыла проблему с рубрикатором.

Скоро один такой экспертный поиск всех сделает. Тихо, мирно, вы и сами не заметите.

А это где-то посмотреть можно?

2 Jack "Но пока нет главного - хотя бы одного реального готового проекта, которым все могли бы с удовольствием пользоваться."
Это происходит сплошь и рядом. как говорил товарищь Суворов : гладко было на бумаге, да забыли про овраги.
По моему в поисковом бизнеси, как и на войне, сила за танковыми дивизиями тоесть за количеством серверов, количеством рекламы, количеством девелоперов, количеством манагерв разного звена, если у вас конечно нет атомной бомбы :) (когда я пишу про количество я не забываю и про качество конечно)

Какойто аноним готовит атомноую бомбу в поиске :). если ничего не выйдет то никто и не вспмнит его слова, а если выйдет то он скажет - вот я же говори я же говорил.

2Заур если бы это можно было посмотреть то уважаемый аноним уже бы скинул сылочку.

Не работает..

Fatal error: Call to undefined function: mb_convert_encoding() in /home/adreru/public_html/poisk.php on line 9

2 Roman: какая бомба, что вы... это весьма давно известная штука, масса народу копает в этом направлении. Ссылку не оставил т.к. сайт не поисковый а коммерческий - это же реклама будет, не знаю, разрешено это здесь или нет. Обращайтесь в почту, пожалуйста.

2Ашманов
> ...на каждый сайт свой отдельный индекс, он же всегда не больше 1 Гбайта.
Игорь, может, все-таки не на каждый сайт, а на каждый поиск?
И потом, неужто у вас нет глобального индекса? Вроде проще все слить и побить по серверам. Тогда проблемы с первым запуском не будет. А удаленные из поиска сайты просто ставить во временный стоп-лист, убирая при переиндексации.

Fatal error: Call to undefined function: mb_convert_encoding() in /home/adreru/public_html/poisk.php on line 9

Alex Tutubalin честно говоря не совсем понял Вашу фразу. Нам вообще говоря все равно как схлопывать и расхлопывать, тоесть это в любом случае делается менее чем за секунду или около того.

Просто сложилось впечатление, что когда идет первое обращение к какому-то поисковику у Вас, то Вы подчитываете для него список с диска, поэтому и получается долго. Вот собственно вопрос был в том, то почему бы не создать общий список и там задавать уже критерии выборки. Ведь даже в персональном поиске люди могут задавать пересекающиеся сайты и придется делать двойную работу.

Если я ошибаюсь, то извините, это моя догадка :)

Да, торможения бывают, но связаны они главным образом с внутренней инфраструктурой проекта: бывают наплывы нагрузки: как поисковой так и индексно-построительной, бывают и проблемы с коннективити датацентра.

Как справедливо написал Игорь - на то и бета, чтобы все эти инфраструктурные вопросы аккуратно порешать. Вот сегодня я особых проблем с повторными поисками не вижу, в том числе и по упомянутому запросу.

В ближайших планах - укрепление материальной базы проекта (гм, про "танковые дивизии" верно замечено) ну и улучшение балансировки нагрузки, чтобы локальных торможений не случалось более, никто ж не спорит, что время поиска, в том числе и первого не должно превышать комфортной секунды.

Что касается внутреннего устройства наших машинок - мы их пока не готовы обсуждать, работ там довольно много, и меняться еще будет - тоже многое.

to Roman

"По моему в поисковом бизнеси, как и на войне, сила за танковыми дивизиями..."

"Атомная бомба" - это и есть свежая идея и принципиально иная концепция ПОИСКА, а все то что Вы называете "танковыми дивизиями" уже вторично.

Иначе говоря, без "Атомной бомбы" нет победы, т.е. нет качественного поиска, который мог бы удовлетворить всех.

Про танковые дивизии:
Давайте цитировать верно:
"Бог - на стороне больших батальонов"
(с) Наполеон Боннапарт
:-)

2 Jack. какая бы свежая идея у вас не была все равно что бы просто собрать и сложить всю информацию из инетренета сейчас необходимо сотни тысч серверов. и количество информации с бешенной скоростью растет. да вся надежда на тэги и вэб 2.0 :)
но прорыв обязательно случится! но он будет в другом месте. прорыв будет в оптических носителях информации и в скоростях обмена ею.
я думаю прорыв будет когда весь сегодняшний интернет можно будет сохранить на одном оптическом носителе стандарной персоналки.

Шахматные алгоритмы за 20 лет не претерпели существенных изменений. компьютер обыграл человека только благодаря росту производительности.
тоже самое произойдет с поиском в ближайшие 10-15 лет, резкое улучшение поиска произойдет только за счет роста производительности компьютерного оборудования.
господин Ашманов лучше всех знает, что наступает такой момент(при создании ИИ), когда, чтбы улучшить систему на 1% необходимо затратить средств больше в несколько раз чем на создание самой системы.

всё это херня-лучший поиск у систем где результаты выводятся в виде облака а не списка

"В проектах, связанных с использованием тэгов (типа Delicious) эту проблему решили с помощью фактического отсутствия рубрикатора - тэги насыпаются внавалку, мешками, и помогают при поиске, но не задают жесткой иерархии. ... Это снижает полноту поиска, но снимает проблему непрозрачности."

Странно, глядя на каталог lermont.ru, где используются теги, а не древовидные рубрики, можно сделать как раз обратный вывод - использование тегов снимает(или минимизирует) проблему непрозрачности, а полнота поиска она в стороне - это родовая проблема всего, что отобрано руками.

Так вы прочитайте внимательно: я и говорю, что иерархические рубрикаторы создают проблему непрозрачности.