Avalanche и все для конкурентной разведки от Тора-Центра

Группа компаний

ТОРА-ЦЕНТР

Работающие программы
по цене обычных

ТОРА-ЦЕНТР - супермаркет аналитического программного обеспечения

За 12 лет мы оснастили около 1000 компаний и банков. Присоединяйтесь!

Звоните: (495) 517-33-83, 726-67-78 Пишите: am@inforus.biz

О компании Решения Технологии Статьи Контакты

Персональная система интернет-мониторинга
AVALANCHE 2.0:
Найдется главное.

	Разведка в Интернете Курс Андрея Масаловича

Avalanche - это Ваш личный поисковый робот, который автоматически обходит Интернет и приносит наиболее интересные для Вас документы.
Avalanche - это также система "Умных папок", которая может сортировать новые документы и формировать тематические досье.
Avalanche используют аналитики крупных компаний, гос.структур, новостных агентств, а также маркетологи, PR-менеджеры и др.

C появлением персональной версии Avalanche 2.0 возможность интернет-мониторинга появилась у каждого аналитика.



	Avalanche 2.0, скидка до 30.11.2007	$100
	Avalanche 2.0 с 1 декабря без скидки	$195
	Avalanche 2.0 корпоративная лицензия (плюс установка, настройка,обучение)	$1000
	Avalanche для специальных приложений - конкурентная разведка, предвыборный мониторинг, корректировка имиджа, информационное противодействие и др.

...Avalanche - одно из первых эффективных решений на базе современных технологий глубинного анализа текстов.
Дмитрий Ландэ
Добыча знаний

...считаю эту программу очень перспективной разработкой
Евгений Ющук

Avalanche 2.0: Документация

Документация по Avalanche 2.0 с 31.10.2007 выложена в открытом доступе здесь.

Avalanche 2.0: Ответы на вопросы

8 октября 2007 года Евгений Ющук , ведущий специалист по конкурентной разведке, опубликовал в Интернете результаты полевых испытаний новой версии Avalanche 2.0 - и это вызвало живое обсуждение в профессиональной среде. Ниже - часть вопросов, а еще ниже - ответы на них.

1. Существует ли подробное описание программы с примерами?
2. Есть ли представитель Вашей компании в Санкт-Петербурге, который мог бы продемонстрировать работу комплекса "вживую"?
3. Обрабатывает ли Avalanche сайты с авторизированным доступом? (форумы, онлайновые базы и пр.)
4. Какие возможности экспорта данных из базы комплекса? (формат, автоматизация и т.д.)
5. Какие варианты поставки комплекса существуют? Интересует подробное описание каждого варианта.
6. В программе используется бесплатный продукт стороннего разработчика (AVC). Как решены вопросы лицензирования?
7. В ходе мониторинга сайтов ведется только изучение новой информации вообще или возможна настройка на появление новой информации по ключевым словам на сайте (основная страничка и все ее ссылки в пределах домена)? Если поиск по ключевым словам работает, то есть ли морфология в нем? Тезаурус?
8. Дистрибутив просто распаковывает три основные части программы. А значит, она способна работать, оставляя "программную" часть реестра без изменений - то есть запускаться с флешки, или любого другого носителя. Это предположение верно?
9. Существует ли в программе возможность настраивать определенное количество потоков, аналогично тому, как это представлено во многих программах-качалках? Ведь это существенно сокращает время работы. И возможно ли выставить приоритетное сканирование для определенных стартовых страниц путем работы по ним параллельными потоками?
10. Паук обрабатывает каждую страницу на заданную глубину. Эта глубина устанавливается для каждой страницы индивидуально?
11. Предусмотрена ли логика маршрута паука, путем ограничения по заданному домену, субдомену, папке сайта, количеству внешних и внутренних ссылок?
12. Вы написали, что после работы паука его необходимо закрыть, а затем открыть сам Аваланч. Это обязательная последовательность действий, или "обучающий" алгоритм? Можно ли работать с уже полученной информацией во время работы паука? И что не менее важно - можно ли редактировать настройки самого паука во время его работы? Или запускать еще одну копию программы-паука?
13. Возможно ли вообще какое-либо "распараллеливание" программы, например, методом ее установки в несколько папок, или установкой нескольких программ на одной машине?
14. Существует ли какая-либо система индикации "ошибок страниц" после их прохождения пауком? От ошибок соединения со страницей до ошибок типа 404 и 403? Ведь в противном случае, они будут отображены в качестве "измененных" страниц, когда к ним просто не было доступа (сайт обновлялся, или брак работы провайдера, занятость и т.д.)? Здесь же вопрос о том, существует ли для паука настройка "периода ожидания" для доступа к ресурсу?
15. Для просмотра страниц программа использует собственный браузер, как видно из скриншотов. Существует ли возможность использования другого браузера, который настроен по умолчанию на машине?
16. Если браузер Аваланча используется на базе движка какого-либо распространенного браузера - известно ли какого?
17. Можно ли в браузере программы открывать ссылки и работать с открывшимися страницами?
18. Какая языковая поддержка у программы при составлении настроек - страниц,запросов, рубрик - кроме латиницы и кириллицы?

1. Существует ли подробное описание программы с примерами? Краткий ответ: Персональная версия Avalanche 2.0 поставляется в виде пре-релиза с кратким описанием и парой примеров. Документация и официальный релиз появятся в конце ноября. Полное описание предыдущей версии (включая 4 книги документации) можно скачать здесь.
Подробный ответ: Avalanche (от французского "Аваланш" - "Лавина") - это поисковая технология, включающая семейство собственных управляемых Интернет-роботов и хранилище на основе "умных папок" (smart folders).
Аналитик настраивает "умные папки" на свою предметную область, например папка "Досье на Буша" со вложенными папками "Буш и Путин", "Буш и Ирак", "Компромат на Дж. Буша" и т.д., после чего очерчивает поисковым роботам ту часть Интернета, с которой следует начинать сбор материалов (при обходе Интернета роботы далее могут расширять зону поиска по найденным ссылкам, а также анонимно обращаться к поисковым системам - Google, Yandex и др.).
Далее по заданному регламенту (например, каждый день в 7 часов утра), просыпаются роботы, обходят текущий список источников в Интернете и собирают все новые документы для дальнейшего разбора. После этого просыпаются умные папки, и каждая разбирает себе документы, релевантные ее тематике.
В итоге, когда за экран Аваланча садится аналитик, он видит окно, стилизованное под Outlook Express, которое ему сообщает - за последние сутки в Интернете появилось 22 материала по интересующим вас темам, из них 15 - по теме "Буш и Саакашвили", 5 - по теме "Буш и саммит АТЭС" и два компрометирующих материала. Аналитик может их просматривать, отбраковывать, помещать в досье, экспортировать на корпоративный сайт и т.д.
Технология была разработана в 1998 году и с тех пор реализована во множестве обличий - в виде крупных заказных систем для многих государевых служб (стоимость таких проектов как правило от $40 000 до $ 300 000), в виде коропоративных систем (от $ 3 000 до $ 50 000) и даже в виде поискового "движка", управлявшего поисковым сервисом "Точный поиск - Exact" проекта "Точка.ру".
В 2004 году появилась персональная версия Avalanche Personal Edition (Avalanche PE). Ее подробное описание с примерами (в том числе 4 книжки документации) находится тут - http://www.tora-centre.ru/razvedka.htm
Первоначально основное назначение этой версии было учебное - подготовить будущего заказчика корпоративной версии Avalanche к составлению грамотного технического задания (успех каждого из внедрений Avalanche определяется главным параметром - насколько четко заказчик формулирует свои задачи). Однако эта "игрушка" оказалась вполне работоспособной и полезной. С ее помощью, например, организуется автоматический сбор новостей на молодежном портале по сотовой связи Trubka.ru, на сайте фирмы Инрэко ЛАН и др.
Нашлось даже несколько умельцев, смастеривших на базе персональной версии Avalanche корпоративные системы мониторинга.
Весной 2007 года мы существенно обновили персональную версию Avalanche (она выйдет в продажу под названием Avalanche 2.0) и отдали в бета-тестирование нескольким специалистам. Наиболее добросовестно и профессионально сработал Евгений Ющук - во многом благодаря его рекомендациям Avalanche 2.0 избавился от программистских глюков и обрел полезный дополнительный функционал.
Сейчас документация на версию 2.0 еще не готова, тем не менее программа уже поставляется в виде пре-релиза с кратким описанием и парой настроенных примеров. Сегодняшняя цена Avalanche 2.0 - $100 для частных лиц (лицензия на 2 рабочих места) и $1000 для компаний (лицензия на 20 рабочих мест плюс 4-часовое обучение и поддержка в течение года). В конце ноября, с официальным выходом релиза, цена изменится (предположительно - утроится).

2. Есть ли представитель Вашей компании в Санкт-Петербурге, который мог бы продемонстрировать работу комплекса "вживую"?
Представителей в регионах у нас пока нет, но мы готовы в любом городе провести семинар по конкурентной разведке в Интернете с подробной демонстрацией Аваланча (в Москве подобных семинаров с начала года мы провели уже тридцать - уж больно горячая тема).

3. Обрабатывает ли Avalanche сайты с авторизированным доступом? (форумы, онлайновые базы и пр.)
Вопрос допускает три различных трактовки:
1. Если вы знаете пароль сайта с авторизованным доступом, робот Avalanche сможет зарегистрироваться и зайти на сайт (эта опция будет активирована после окончания тестирования).
2. Если вы не знаете пароля сайта, но хотите, чтобы туда заглянул наш робот - такие задачи также неоднократно решались, но совсем другими версиями Avalanche ( :-) ). Avalanche 2.0 этого делать не станет.
3. Если вы хотите, чтобы Avalanche заходил на авторизованные сайты через "боковую дверь" с открытым доступом, по недосмотру оставленную создателями сайта (сейчас это один из самых модных способов покорения "Невидимого Интернета"), то Avalanche это делать сможет, но заход вам надо найти и настроить самостоятельно.

4. Какие возможности экспорта данных из базы комплекса? (формат, автоматизация и т.д.)
Данные из базы комплекса УЖЕ ЭКСПОРТИРОВАНЫ - сами документы накапливаются в открытых папках вашей операционной системы в виде htm и txt - файлов. В базе данных самого Avalanche (для версии Avalanche 2.0 - это база в формате MS Access) лежат настройки папок, индексы, "паспорта" и настройки источников и информационных материалов и т.д. - в принципе, эту информацию также можно экспортировать, надо только определить, что именно, куда и зачем.

5. Какие варианты поставки комплекса существуют? Интересует подробное описание каждого варианта.
Сейчас Avalanche поставляется в следующих вариантах:
1. Пре-релиз Avalanche 2.0 для частных лиц (лицензия на 2 рабочих места) - $100 , за наличные (либо по электронному платежу WebMoney), на условиях "As is" ("как есть") - без обязательств по обучению, настройке, доработке и сопровождению (но тем не менее с дружелюбной, оперативной и вменяемой "горячей линией").
2. Пре-релиз Avalanche 2.0 для компаний (лицензия на 20 рабочих мест плюс 4-часовое обучение и поддержка в течение года) - $ 1000. При этом вы будете снабжаться всей сопутствующей документацией по мере ее появления.
3. Заказные версии Avalanche, решающие ваши поисковые и аналитические задачи в соответствии с техническим заданием - изготавливаются под заказ, по договору, цена договора может составлять от $ 3 000 до $ 300 000. В этом году, например, было три таких проекта - на 1 млн. рублей, на 2 млн. и на 3 млн. (существуют компании и организации, для которых вопросы доминирования в Интернет-пространстве уже осознаны и этих денег стоят ).

6. В программе используется бесплатный продукт стороннего разработчика (AVC). Как решены вопросы лицензирования?
Ответ: Не совсем так. В Avalanche действительно реализован интерфейс, позволяющий стартовать и использовать AVC совместно с Avalanche. Однако в состав дистрибутива Avalanche продукт AVC не включен (т.к. распространение AVС с коммерческими продуктами не разрешено лицензией). Каждый пользователь, который захочет использовать AVC, может скачать его бесплатно из Интернета и установить на свой компьютер самостоятельно. При этом Avalanche может по запросу пользователя найти на компьютере (через реестр) и запустить AVC, который пользователь инсталлировал самостоятельно и отдельно. Avalanche может работать и на компьютере, где нет AVC. При этом соответствующая интерфейсная кнопка будет неактивна.

7. В ходе мониторинга сайтов ведется только изучение новой информации вообще или возможна настройка на появление новой информации по ключевым словам на сайте (основная страничка и все ее ссылки в пределах домена)? Если поиск по ключевым словам работает, то есть ли морфология в нем? Тезаурус?
Avalanche создан специально, чтобы собирать новости по заданным темам и ключевым словам, т.е. обслуживать тематические папки и досье аналитика. В персональной версии реализован логико-синтаксический механизм запросов (т.е. поисковая строка с ключевыми словами и легким языком запросов в стиле Rambler). Морфология в версии 2.0 не учитывается, но можно использовать wildcards ("звездочку" вместо окончаний слов). В заказных версиях Avalanche, напротив, использованы все мыслимые алгоритмы авторубрикации - с учетом морфологии русского и английского языка (использованы тезаурусы МедиаЛингва и PolyAnalyst), с использованием нейронных сетей и нечеткой логики и даже на основе полных семантических сетей русского языка (использованы сети Тузова).

8. Дистрибутив просто распаковывает три основные части программы. А значит, она способна работать, оставляя "программную" часть реестра без изменений - то есть запускаться с флешки, или любого другого носителя. Это предположение верно?
Да, в настоящий момент Аваланч ничего не пишет в реестре. Когда будет инсталлятор (ориентировочно - конец ноября), тогда возможно и будет отмечаться.

9. Существует ли в программе возможность настраивать определенное количество потоков, аналогично тому, как это представлено во многих программах-качалках? Ведь это существенно сокращает время работы. И возможно ли выставить приоритетное сканирование для определенных стартовых страниц путем работы по ним параллельными потоками?
Робот в программе планировался многопотоковым (как это сделано во "взрослых" заказных версиях), но не успели. Сейчас он однопотоковый, но весьма вероятно вскоре станет многопотоковым.
Приоритетное сканирование выставить возможно. В регламенте есть специальное поле "приоритет".

10. Паук обрабатывает каждую страницу на заданную глубину. Эта глубина устанавливается для каждой страницы индивидуально?
Да, для каждой начальной страницы в списке источников.

11. Предусмотрена ли логика маршрута паука, путем ограничения по заданному домену, субдомену, папке сайта, количеству внешних и внутренних ссылок?
Можно либо задать для конкретного сайта набор настроек, которые робот будет выполнять, либо (что хуже) какие-то ссылки загнать в стоп-ссылки.

12. Вы написали, что после работы паука его необходимо закрыть, а затем открыть сам Аваланч. Это обязательная последовательность действий, или "обучающий" алгоритм? Можно ли работать с уже полученной информацией во время работы паука? И что не менее важно - можно ли редактировать настройки самого паука во время его работы? Или запускать еще одну копию программы-паука?
Это обучающий алгоритм, которым рекомендуется пользоваться. Собранные во время сеанса документы рубрицируются после окончания скачивания. Во время скачивания конечно же нельзя редактировать настройки.

13. Возможно ли вообще какое-либо "распараллеливание" программы, например, методом ее установки в несколько папок, или установкой нескольких программ на одной машине? Не пробовали, да это и не надо - лучше дождаться реализации многопотоковости.

14. Существует ли какая-либо система индикации "ошибок страниц" после их прохождения пауком? От ошибок соединения со страницей до ошибок типа 404 и 403? Ведь в противном случае, они будут отображены в качестве "измененных" страниц, когда к ним просто не было доступа (сайт обновлялся, или брак работы провайдера, занятость и т.д.)? Здесь же вопрос о том, существует ли для паука настройка "периода ожидания" для доступа к ресурсу?
Существует общий для всех таймаут. Также мы умеем получать и отображать статус (200 ОК, 403, 404 и др.)

15. Для просмотра страниц программа использует собственный браузер, как видно из скриншотов. Существует ли возможность использования другого браузера, который настроен по умолчанию на машине?
Нет. Только из внутреннего.

16. Если браузер Аваланча используется на базе движка какого-либо распространенного браузера - известно ли какого?
Известно. IE.

17. Можно ли в браузере программы открывать ссылки и работать с открывшимися страницами?
Нет. Откроется в вашем браузере.

18. Какая языковая поддержка у программы при составлении настроек - страниц,запросов, рубрик - кроме латиницы и кириллицы?
Только русский и английский, остальное никто не проверял.

Как и зачем мы создали Avalanche

В настоящее время в Интернете насчитывается около полутора тысяч популярных поисковых систем. (термином "популярный" мы определяем системы, которые хотя бы единожды похвалил кто-то, кроме их создателей. Вообще-то поисковиков значительно больше).
Поисковые системы отлично справляются с простыми однократными запросами. Однако если информационный поиск надо повторять постоянно, если предметная область сложна по структуре и если от результатов поиска зависит ваш доход или заработок - вы довольно быстро обнаружите, что:

Поисковики перегружают вас тысячами бесполезных ссылок

Интернет не помнит, что вы уже видели, а что нет, и завтра принесет вам тот же миллион уже просмотренных ссылок

Поисковики не отличают действительно важную для вас информацию от шелухи

Поисковики не умеют правильно сортировать полученную информацию и раскладывать ее по нужным рубрикам

Поисковики не видят свежих тематических новостей. Задержка в индексировании конкретного сообщения может доходить до двух недель

Поисковики принципиально не видят некоторых сайтов (например, большинства сборников компромата). А пользователи Интернета, наоборот - видят. И увидят компромат на вас раньше вас, если вы решите положиться на любимую поисковую систему

Результаты работы любого поисковика можно купить или подделать (помните, как накануне 8 марта один популярный российский поисковик на запросы о цветах давал адрес только одного поставщика, пусть самого крупного, но все равно обидно).

Поисковая система в Интернет выполняет поиск по вашему запросу, а значит, нагружает вас повторяющейся рутинной работой

А если на фирме работают несколько аналитиков, то однотипные запросы нескольких человек многократно увеличивают ваш трафик

И список можно продолжить.

Люди долго мирились с такими неудобствами, пока финансовые аналитики (для которых и время - деньги, и результаты поиска - деньги) не сформировали спрос на более умную поисковую систему, которая бы решала хотя бы часть перечисленных выше проблем.

И вот в 98-м году появился пакет Enfish Tracker. Он чуть лучше формировал запросы, чуть удобнее хранил результаты и сам лазил в Интернет за обновлениями. За это "чуть" авторитетнейшая Investor's Business Daily объявила Enfish "Программой года".

Однако проблемы с поиском оставались. И в конце 98-го группа аналитиков Гарвардского университета сформулировала российским разработчикам постановку задачи на создание более совершенной поисковой системы. Вот так и появился пакет Avalanche (что означает - "лавина").

Что умеет пакет Avalanche в отличие от других систем поиска в Интернет ?
Во-первых, вы формируете модель предметной области в виде набора "умных папок" (в американском патенте они называются Smart Folders). Каждая папка "знает", что именно должно в нее попадать и, естественно, способна проследить, чтобы не было дублирования.
Во-вторых, наполнением этих умных папок занимается специализированный поисковый робот, который запускается с вашего компьютера с вашими настройками. Его нельзя обмануть или подкупить - он принесет ровно то, что просили.
В-третьих, робот может запускаться и автоматически, принося и раскладывая по папкам свежие новости для вас аккурат к вашему приходу на работу.
Есть и еще несколько маленьких приятных особенностей, благодаря которым Аваланч сегодня используют не только в аналитических или консалтинговых компаниях, но и в торговых фирмах.
Зачем? Например, один из самых крупных поставщиков супов в пакетиках, чье имя вы слышите в каждой ТВ-рекламе, с помощью пакета Avalanche решает три основные задачи:

Ведет мониторинг своей популярности, автоматически собирая все свежие упоминания о фирме в Интернет.

Автоматически пополняет досье на основных конкурентов, мгновенно фиксируя появление любых новых материалов.

Фильтрует результаты поиска других поисковых систем, устраняя ненужные ссылки (например, упоминания о своей фирме в прайс-листах многочисленных дилеров) - такая настройка тоже есть в Аваланче.

Конечно, не стоит ждать чуда - стопроцентная полнота и релевантность результатов поиска в Интернете в принципе недостижима.
Avalanche - не более чем инструмент, легкий и гибкий, который избавляет аналитика от рутины, а результаты Интернет-поиска делает более точными и удобными для работы.

Попробуйте сами оценить его полезность - и вы поймете, почему пакет Avalanche установлен во Внешторгбанке и Суперкомпьютерном центре РАН, "Российской газете" и агентстве МИЭЛЬ, а также во многих других организациях. (В 2007 году было поставлено более 100 новых копий Avalanche PE).

517-33-83 am@inforus.biz

[На главную] [Новинки] [Решения] [Технологии] [Статьи] [Контакты]