Внимание, обращаем внимание на новую версию prestashop.

При поддержке John JEAN из Wargan Solutions компании, что специализируется на компьютерной безопасности, мы нашли и исправили  несколько уязвимостей в коде которые затрагивает все версии prestashop (с v0.8 до v1.3).

Крайне рекомендуется обновить ваш магазин PrestaShop для решения проблем с безопасностью:

Для обновления вы можете:

- Обновить PrestaShop новой версией 1.3.1.

Эта версия идентична  1.3 (не включает исправления ошибок) и только проблемы безопасности исправлены

или вы можете исправить уязвимости вручную:

/!\ Не забудьте сделать копию своего магазина.

Файл: /config/smarty.config.inc.php
где: в конце файла, перед «?>»
добавить: $smarty->register_modifier(’secureReferrer’, array(‘Tools’, ’secureReferrer’));

Файл: /modules/paypalapi/error.tpl
где: строка 13
заменить : {$smarty.server.HTTP_REFERER}
на : {$smarty.server.HTTP_REFERER|secureReferrer}

Файл: /themes/prestashop/errors.tpl :
где: строка 9
заменить: {$smarty.server.HTTP_REFERER|escape:’htmlall’:'UTF-8′}
на: {$smarty.server.HTTP_REFERER|escape:’htmlall’:'UTF-8′|secureReferrer}

Файл:/themes/prestashop/shopping-cart.tpl :
где: строка 255
заменить: {$smarty.server.HTTP_REFERER|escape:’htmlall’:'UTF-8′}
на: {$smarty.server.HTTP_REFERER|escape:’htmlall’:'UTF-8′|secureReferrer}

Файл: /admin/login.php
где: строка 67
заменить:
$cookie->passwd = $employee->passwd;
$cookie->write();
на:
$cookie->passwd = $employee->passwd;
$cookie->remote_addr = ip2long($_SERVER['REMOTE_ADDR']);
$cookie->write();

Файл: /admin/confirm.php
где: строка 22
заменить: $referer = rawurldecode(Tools::getValue(‘referer’));
на: $referer = Tools::htmlentitiesUTF8(rawurldecode(Tools::getValue(‘referer’)));

Файл: /classes/Tools.php
где: строка 17
После: «class Tools
{»
Добавить две новых функции:

/**
* Get the server variable SERVER_NAME
*
* @param string $referrer URL referrer
*/
static function getServerName()
{
if (isset($_SERVER['HTTP_X_FORWARDED_SERVER']) AND $_SERVER['HTTP_X_FORWARDED_SERVER'])
return $_SERVER['HTTP_X_FORWARDED_SERVER'];
return $_SERVER['SERVER_NAME'];
}

/**
* Secure an URL referrer
*
* @param string $referrer URL referrer
*/
static public function secureReferrer($referrer)
{
if (preg_match(‘/^http[s]?:\/\/’.self::getServerName().’\/.*$/Ui’, $referrer))
return $referrer;
return __PS_BASE_URI__;
}

Файл: /classes/Cookie.php
где: строка 164
Заменить функцию isLoggedBack() новой
function isLoggedBack()
{
/* Employee is valid only if it can be load and if cookie password is the same as database one */
if ($this->id_employee AND Validate::isUnsignedId($this->id_employee) AND
Employee::checkPassword(intval($this->id_employee), $this->passwd) AND (!isset($this->_content['remote_addr']) OR
$this->_content['remote_addr'] == ip2long($_SERVER['REMOTE_ADDR'])))
return true;
return false;
}

Новая стабильная версия PrestaShop

Версия 1.3 обосновано названа наиболее завершенной, стабильной и профессиональной по сравнению с предыдущими версиями. Огромное количество оптимизаций было сделано, что бы максимизировать производительность и поддержку многоязычности. Эта версия включет множество рекомендаций от Open-Source сообщества. Версия доступна на трех языках: английский, испанский и французский.

Наряду с техническими улучшениями, так же было добавлено множество новых функций, добавлено более 200 технических, функциональных и графических расширений.

Детальнее о добавлениях :

Новые модули

- Moneybookers, платежи через Moneybookers

- Hipay, платежи через Hipay

- ReversoForm, автоматизирует заполнение форм

- Dejala, доставка товара курьером (Испания и Франция)

- Product Tooltip: на странице товара показывает количество одновременных просмотров, дату последнего добавления в корзину и дату последней покупки

- Catalog Evaluation, для проверки каталога (описание, наличие изображений, товаров на складе)

- Cross Selling, модуль для кросс-продаж

Новая функциональность и улучшения:

-  Добавлен Испанский языка (инсталлятор, консоль управления, сайт)

- Система налогов переписана

- Улучшена производительность базы (индексы)

- Совместимость с PHP 5.3

- Улучшена производительность поиска

- Улучшен модуль оплаты Paypal

- Улучшены компонены SEO, особенно для многоязычных сайтов

- Добавлены правила налогов для новых территорий (Испания, Канада)

- Улучшения в Google Checkout модуле

- Лучше совместимость со всеми интернет-браузерами

- Поисковые функции расширены на всю консоль управления

-  Новые статистические данные на первой странице консоли администрирования

- Автоматическое создание языка, при импортировании из .gzip файла

- И наборот, автоматическое предложение скачать gzip файл когда создается новый язык

- Возможность покупки модулей и тем напрямую из инсталлятора

- Возможность ограничения способов доставки по группам покупателей

- Возможность сохранить только необходимые таблицы в базе (выбор таблиц)

- На этапе установке уже можно выбрать страну по умолчанию

- Возможность фильтровать модули по доступности для страны по умолчанию.

- Отключение Ajax в  «search block»  если он не в «шапке» страницы

- Несколько новых «хуков» добавлено для консоли управления (backOfficeTop; backOfficeFooter; header …)

- При создании модуля можно ограничить список стран, где он применим.

Подробнее смотрите CHANGELOG – других полезных изменений было сделано начиная с версии 1.2.5:

«Нашей целью является непрерывно улучшать PrestaShop для предоставления продавцам электронной онлайн-коммерции  полной, функциональной и подходящие к их потребностям, с учетом их ограничений платформы . PrestaShop модульное и гибкое решение для удовлетворения потребностей всех стран и всех видов деятельности. » Говорит соучредитель PrestaShop  – Igor Schlumberger.

Новые партнеры

Выпуск PrestaShop v.1.3 это возможность еще раз рассказать про наших новых партнеров – курпнsх игроков на рынке безопасных платежей, Moneybookers и Hipay (Hi-media group) присоединились к уже работающим в нашем решении Paypal and Google Checkout.

Moneybookers один из крупнейших европейский поставщик услуг по проведению on-line платежей в более чем 200 странах,  в 42 валютах, и в более чем  100 способов оплаты; Hi-Media является одним из самых крупных сайтов издателей и занимает позицию лидера европейского рынка интерактивной рекламы и электронных платежей.

Французские участники рынка электронной коммерции так же будут обрадованы появлением интеграции с сервисом  ReversoForm, системы заполнения форм базируясь на каталоге телефонных номеров.

«Это партнерство позволит продавцам предлагать несколько вариантов взаимодействия их PrestaShop магазином,  и откроет новые перспективы для бизнеса и маркетинга.» Сказал Bruno Lévêque, PrestaShop CEO.

Шаблоны для prestashop базируются на шаблонизаторе Smarty и все модули используют хуки (hooks) как определение места положения модуля на странице.

По умолчанию в prestashop есть следущие хуки: rightColumn, leftColumn, payment, paymentReturn, updateOrderStatus, top, footer, productActions, cart, customerAccount, header, productTab, productTabContent, home и т.д.

Если же нужно создать новый хук для размещения вашего модуля, то вот краткая инструкция как это сделать:

1. Добавить описание хука в базе данные – таблица ps_hook… (ps_ это префикс prestashop в моей базе, у вас может быть иначе)

insert into ps_hook(name,title,description,position)
values ('new_hook','New hook for footer page','Added for new module',1)

2. В обработчике страницы изменить код обработки хуков (например в footer.php)

было

 $smarty->assign(array(

        'HOOK_RIGHT_COLUMN' => Module::hookExec('rightColumn'),

        'HOOK_FOOTER' => Module::hookExec('footer'),

        'content_only' => intval(Tools::getValue('content_only'))));

        $smarty->display(_PS_THEME_DIR_.'footer.tpl');

должно стать

 $smarty->assign(array(

        'HOOK_RIGHT_COLUMN' => Module::hookExec('rightColumn'),

        'HOOK_FOOTER' => Module::hookExec('footer'),

        'HOOK_NEW' => Module::hookExec('new_hook'),

        'content_only' => intval(Tools::getValue('content_only'))));

        $smarty->display(_PS_THEME_DIR_.'footer.tpl');

3. Вставьте {$HOOK_NEW} в ваш smarty шаблон (в нашем случае footer.tpl)

PS. У вас должно быть что-то что публиковаться в новый хук – это может быть новый или модифицированный существующий модуль.

О Prestashop (www.prestashop.com)

Prestashop – это легковесный движок интернет-магазина. В базовой поставке уже достаточно модулей для старта магазина среднего уровня. Включенный же в стандартную поставку удобный и красивый дизайн позволяет быстро стартовать магазин. Сообществом пользователей разработанно большое количество дополнительных модулей, которые расширяют возможность базового движка. Хорошо продуманная внутреняя архитектура позволяет сторонним разработчикам легко добавять дополнительную функциональность.

источник: http://www.prestashop.com/forums/viewthread/12637/

Скачать исправленную версию.

О модуле: Модуль позволяет быстро найти товары у которых незаполнены поля описания или нет изображений. Просто и красиво.

http://www.prestastore.com/back-office-tools/749-catalog-evaluation.html

PrestaShop новостное письмо # 25

11 Март , 2010

Доступна версия 1.3 beta 1 PrestaShop!

За последнюю неделю сделаны следующие изменения:

• Исправления в CSV импорте
• Появилась возможность добавлять javascript блоки в тектовое поля через TinyMCE
• Исправления в поиске по тегам
• Исправления в модулях PaypalAPI и Moneybookers
• Упарвления упаковками продуктов
• Адрес заказчика отображается на сводной странице
• Исправления в скидках без налогов
• Исключена возможность удаления последнего поддомена.

Полный спиоск измений в CHANGELOG или в SVN.

 Скачать PrestaShop v.1.3 Beta 1

Модуль в подарок

На этой неделе PrestaStore предлагает бесплатный модуль: “Catalog Checkup”!
Этот модуль дает возможность проверить в реальном времени качество описания товаров в вашем каталоге!
Разработан командой PrestaShop team, совместим с версиями 1.2 и выше .

Скачать “Catalog Checkup” модуль on PrestaStore

Источник: http://www.prestashop.com/newsletters/025/newsmail_en.html

Перевод: Sergey N Lukin (sergey at look-in dot net)

Опубликовано автором 21-го сентября 2004.

Этот документ и все сопутствующее программное обеспечение поставляет «как есть» («as is»), при этом не предусматривается никаких гарантий, явных или подразумеваемых, включая, но не ограничиваясь, подразумеваемую гарантию товарного состояния при продаже и пригодности для использования в конкретных целях, а также любые иные гарантии. Весь риск в отношении качества и производительности программы ложится на вас. Если программа окажется с дефектом, вы принимаете на себя расходы по всему необходимому обслуживанию, восстановлению и исправлению.

Содержание

Введение
Программное обеспечение
Советы JMeter Tips
Использование файлов Apache Log (логи)
Фильтрация ваших логов
Продолжительность и нагрузка
Создание тестового плана
Запуск теста
Анализ результатов

Введение

Это документ описывает некоторые советы о том как использовать логи апача (apache logs) в качестве исходного материала для тестового плана JMeter. Скрипт на perl для генерации тестовых планов по логами и тестовый план обрабатывающий результаты работы приложен к статье. Естественно, что возможно тебе придется отредактировать скрипт и тестовый план для твоих особенностей конфигурации.

Хотелось бы отметить что после того как была написана статья появился Tomcat Access Log Sampler (и Access Log Sampler). Этот sampler может так же читать логи в формате Apache common log и создавать запросы к вашему web приложению. У автора не было возможности попробовать этот sampler, но многие советы из этой статьи будут также применимы. В частности, ты должен подготовить логи для каждого тестового потока.

Файлы

Скачать архив (и копия на этом сайте). Архив содержит:

Советы по JMeter

Следующие советы могут быть полезны в отношении JMeter:

1. JMeter хранит тестовые планы как XML. Значит ты можешь создавать тестовые планы используя текстовый редактор или шелл (shell) скрипты.
2. Созданный и сохраненный тестовый план (.jmx) с помощью JMeter может быть разделен на части с помощью текстового редактор. Это может быть полезно для использования их скриптам.
3. Имей ввиду, что когда используются логи как источник то тестовые планы могут быть большими, очень большими. Например, план с 2800 запросами требует 256 MB RAM и не может быть загружен в JMeter GUI без увеличения памяти под JVM.
4. Запускай свои тесты в консольном режиме – что бы уменьшить размер требуемой памяти.(опция -n в JMeter).
5. У всех JMeter Listeners’ов (такие как Aggregate Report) есть Filename поля. Используя его можно загрузить и посмотреть результаты теста.
6. Создай тестовый план, которые содержит только Listeners для анализа результатов теста. Для примера смотри – results.jmx.
7. Можно запустить JMeter-тест с удаленного сервера, на котором даже нет GUI. Потом скопируй результат.jtl на рабочую станцию с GUI для анализа результатов.
8. Если вы планируете запускать JMeter под IBM AIX, необходимо изменить скрипт запуска jmeter в папке bin – закомментировать опцию -XX, она не поддерживается на IBM’s JVM.
9. Во время работы теста, ты можешь из браузера сделать дополнительный запрос, что бы почувствовать как система реагирует. Эта субъективная оценка поможет сравнить желаемое и реальное время обработки запроса. Но помни, что эти дополнительные запросы не фиксируются в отчетах, и не отражаются в результатах тестирования.

Следующие советы наиболее применимы когда используются Apache access log в качестве исходного материала для тестов. (для примера смотри sample.jmx ).

1. Используй HTTP Request Defaults для указания имени сервера который тестируете, и не вноси эту и информацию в каждый запрос. Это поможет если придется менять имя сервера. Надо будет изменить только одну настройку, а не каждый запрос.
2. Используй Constant Throughput Timer когда используешь Apache log как исходный материал, что бы обеспечить частоту запросов как в исходных логах (подробнее смотри ниже). Постоянная скорость запросов применяется для каждого потока. В нашем примере каждый поток делает 10 запросов в минуту.
3. Используй Uniform Random Timer когда у тебя более одного потока и хочется предотвратить запуск всех потоков «волной». Без этого таймера все ваши потоки будут посылать запросы в одно и тоже время т.к. мы используем Constant Throughput Timer. Выберете значение Random Delay соответствующее значению в Constant Throughput Timer. В нашем примере Constant Throughput Timer установлен в 10 запросов в минуту. Это дает каждому запросу «окно» в 6 секунд, установи в Uniform Random Timer значение Random Delay Maximum в 6000 миллисекунд (6 секунд).
4. HTTP Cookie Manager действительно работает отлично и поддерживает множество cookie для каждого запущенного потока.

Используем Apache Log файлы

Файлы apache log это отличный исходный материал для создания нагрузочных тестов JMeter. Мы используем простой процесс преобразования текстовых лог файлов в тестовый план JMeter, потому что JMeter хранит тесты используя XML. Преимущество использования Apache access log – то что ты не строишь догадки о том как нагружается твой сервер – ты используешь готовую информацию.

С другой стороны, используя Apache log, ты ограничиваешься только GET запросами (т.к. логи не включают содержание запросов POST). И также не возможно эмулировать запросы, что возвращают 304 (Не изменен), это требует добавление в заголовок запроса даты/времени модификации страницы. Это можно сделать в самом JMeter самостоятельно, если есть такая необходимость.

Фильтрация Apache log

Тебе надо решить насколько большой тест желаешь, и извлечь подходящие запросы из лога. Я просмотрел статистику и графики созданные программой Webalizer, для определения когда сервер наиболее загружен (т.е. день и час). Решил, что 10 минут достаточная длительность теста, я использую filter.sh, который включен в эту документацию, для определения той 10-ти минутой части лога, что отражает наиболее загруженный час, и отфильтровываю запросы, которые меня не интересуют.

В моем случае, я удаляю также записи, что не содержат HTTP 200 (OK) и 320 (Moved Temporarily) ответы. В последнем случае, приложение выполняет тест cookie когда сессия стартует и пересылает пользователя на другой URL.

Если тестируешь приложение с базой (как я), вы должны найти способ выполнить login для тестовой сессии. Если используешь cookies, что бы отслеживать сессии, необходимо создать сессии для каждого потока в JMeter. Т.к. мое приложение выполняет автоматический логин по IP адресу, то я только сконфигурировал тестовый аккаунт с IP адресом компьютера с которого я планирую запускать тесты JMeter.

Вы должны быть аккуратны, когда отфильтровываете запросы из вашего исходного лога, т.к. это уменьшает нагрузку на сервер. Для лучшего теста, вы должны добавить несколько дополнительных запросов из вашего лога, для приближения к полной загрузки вашей системы. Это похоже на мистику, но ты должен сделать догадку, как много дополнительных запросов тебе нужно добавить.

Длительность и нагрузка

В конце концов, твой лог файл должен содержать число запросов которое будет нацело делиться на количество потоков, с помощью которых будешь тестировать приложение. В этом случае намного легче симулировать нагрузку с помощью JMeter.

Ты должен использовать не только Constant Throughput Timer для эмуляции реальной загрузки сервера, т.к. этот таймер будет запускать все потоки одновременно, в этом случае запросы нахлынут на сервер волной. Что бы решить эту проблему, ты должен добавить также Uniform Random Timer (JMeter таймеры аддитивны). Uniform Random Timer добавляет случайное число миллисекунд в каждый поток перед следующим запросом. Это значение может быть от 0 до Random Delay Maximum. Это значение пересчитывается каждый раз что делает тестирование более реалистичным. Значение Random Delay Maximum уставите таким же как частота в Constant Throughput Timer. Единственное что переведите «запросы в минуту» в миллисекунды.

В моем случае, десять запросов в минуту на поток работают как 6 секунда на запрос. Эти 6000 и должны быть выставлены в качестве Random Delay Maximum в Uniform Random Timer.

Я выбрал что 2800 запросов для моего 10 минутного теста. Использую 28 потоков, каждый поток сделает 100 запросов в 10 минут или 10 запросов в минуту. Это значение и было использовано в обоих таймерах. Если бы мы решили использовать 14 потоков, то каждый поток выполнил бы 200 запросов за 10 минут или 20 запросов в минуту.

Если захочешь запустить тест с уменьшенной нагрузкой, то есть послать меньшее количество запросов за тот же период. Например, для уменьшения нагрузки в 2 раза, ты можешь уменьшить количество запросов и кол-во потоков дважды. В моем случае это будет 1400 запросов и 14 потоков.

Для увеличения нагрузки, увеличь количество запросов посланные в тоже период времени и количество потоков. Для моего теста 125% увеличение требует 3500 запросов и 35 потоков.

Создание тестового плана

Скрипт makeplan.pl включает в себя документацию по использованию:

Usage: makeplan.pl [-h HOST] [-t THREADS] [FILE1] [FILE2] ...        Where: -h specifies the host name or ip address to test (default is "localhost").
-t specifies a non-zero number of threads to generate (default is 1).
Reads each FILE in succession (or standard input), generating a JMeter test plan to standard output.

Ты можешь редактировать эту программу под свои требования. В частности, скрипт проверяет наличие параметра auto и добавляет его, если это необходимо (эта специфика нужна была для моего приложения). Вы должные изменить это и посылать логин и пароль с каждым запросом что бы каждый поток JMeter мог зарегистрироваться в вашей системе.

Перенаправь вывод скрипта в файл с расширением .jmx – это и есть ваш тестовый план.

Для первичного теста, запустите makeplan.pl скрипт с небольшим логом. Загрузите этот тест файл в JMeter и запустите тест. Далее, проверьте результаты, для этого можете использовать View Results Tree Listener (его нужно добавить до запуска теста). После того как запустите тест, вы можете использовать Response data для точного просмотра того что вернулось от сервера.

Внимание, скрипт makeplan.pl не просто нарезает исходный файл на количество кусочком равное количеству поток. Он пытается расположить запросы примерно в том же порядке что они были в Apache log, каждый поток получает n-й запрос (n количество потоков).

Запуск теста

Ты можешь запустить свой полный тест используя runtest.sh скрипт. Перед использование укажи путь к папке «bin» внутри этого скрипта к твоей инсталляции JMeter.

Суть скрипта в следующей строке:

jmeter -n -t $DIR/$1.jmx -l $DIR/$1.jtl

Где $DIR твоя текущая директория, и $1 имя тестового плана. Опция -n, говорит JMeter запускаться в консольном режиме, опция -t указывает на тест что нужно запустить, -l указывает на выходной файл результатов.

Анализ результатов тестирования

После выполнения теста, открой тестовый план results, что приложен к этой документации. Этот план включает в себя только анализаторы результатов (listeners), ваши результаты могу быть загружены в них для анализа.

Я решил что Aggregate Report наиболее удобный для анализа результата тестирования описанного здесь. Наиболее важный столбец называется «Average» и показывает среднее число миллисекунд, которые потребовались для обработки запроса. Столбец «rate» показывает как часто этот запросы был послан. Т.к. мы использует таймеры для ограничения скорости посылания запросов, то количество в этом столбце не отражает то как хорошо/плохо сервер обрабатывает запрос.

Для загрузки результатов теста, выбери Aggregate Report, далее в Filename, далее Browse... . Выбери файл с результатами и нажми Load. Для просмотра результатов в другом формате используйте остальные отчеты (listeners).

автор Erik Hatcher (01/27/2005) источник
перевод Сергей Лукин

По мере усложнения восприятия мира люди изобретали различные виды классификации, каталоголизации по различным иерархическим схемам (как то по видам и родам животных, по направлениям музыки в каталоге дисков). Развитие интернета и электронных хранилищ позволили сделать огромный шаг в построение сложных каталогов для быстрого поиска информации. Как пример, Yahoo содержит огромный классификатор сайтов интернета. Но поиск по каталогу долог и требует от человека хорошего знания предметной области, поэтому требовался «свободный» поиск, сквозной поиск по всему каталогу, с произвольно составленным запросом. Лучший пример этого демонстрирует Google.

Если же от вашего приложения пользователи требуют такой функциональности, то Lucene это лучший способ сделать это быстро, просто и эффективно.

Lucene это высокопроизводительный, масштабируемый, поисковый движок. В нем одновременно реализованы и функции индексирования и функции поиска, доступ к этим функциям предоставляется через API Lucene. В первой части этой статья вы увидите пример использования Lucene для индексирования файлов в каталоге и подкаталогах. Далее небольшое отступление описывающее формат индексного каталога Lucene. Потом о краткое исследования методов анализа текста и, наконец реализацию поиска.

Индексирование

В начале создадим класс Indexer который будем использовать для индексирования всех текстовых файлов в указанной директории. Этот утилитарный класс с единственным внешним (public) методом index(), который принимает два аргумента. Первый indexDir – объект класса File который ссылается на каталог в котором будет создаватся индексная база. Второй аргумент это другой объект класса File который в свою очередь ссылается на каталог который будет индексироваться.

public static void index(File indexDir, File dataDir) throws IOException {
  if (!dataDir.exists() || !dataDir.isDirectory()) {
     throw new IOException(dataDir + " does not exist or is not a directory");
  }
  IndexWriter writer = new IndexWriter(indexDir, new StandardAnalyzer(), true);
  indexDirectory(writer, dataDir);
  writer.close();
}

После проверки что dataDir существует и это каталог, мы инстанцируем объект класса IndexWriter который будет использоваться для создания индекса. Конструктор IndexWriter принимает в качестве первого параметра каталог в котором индексная база будет создана последний аргумент указывает что мы будем пересоздавать индекс, а не дополнять существующий (если таковой есть в каталоге). Средний параметр – это анализатор, который используется для анализа полей. Анализ полей будет описан ниже, но сейчас мы можем быть уверенны что все важные слова в файлах будут проиндексированы благодаря анализатору StandardAnalyzer.

Метод indexDirectory() ходит по дереву каталогов, сканирует его на наличие файлов с расширением .txt. Любой .txt файл будет проиндексирован методом indexFile(), а любой каталог будет обработан методом indexDirectory(), все остальные файлы будут проигнорированы. Ниже приведен код метода indexDirectory

private static void indexDirectory(IndexWriter writer, File dir)  throws IOException
{
      File[] files = dir.listFiles();
      for (int i = 0; i < files.length; i++) {
            File f = files[i];
            if (f.isDirectory()) {
                indexDirectory(writer, f);  // recurse
            } else if (f.getName().endsWith(".txt")) {
                indexFile(writer, f);
            }
      }
}

Метод indexDirectory() живет полностью независимо от Lucene. Этот пример использования Lucene основной – крайне редко при использовании Lucene приходиться много программировать с Lucene API, надо просто использовать готовое. В завершени класса Indexer, мы реализуем самое главное – индексирование отдельного текстового файла:

private static void indexFile(IndexWriter writer, File f) throws IOException {
  System.out.println("Indexing " + f.getName());
  Document doc = new Document();
  doc.add(Field.Text("contents", new FileReader(f)));
  doc.add(Field.Keyword("filename", f.getCanonicalPath()));
  writer.addDocument(doc);
}

И… поверите вы или нет, но мы сделали это!
Мы проиндексировали все текстовые файлы в дереве каталогов.
Это действительно так просто. Подведем итог, перечислим шаги которые мы предприняли:

import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;import java.io.*;
public class Indexer {
 public static void index(File indexDir, File dataDir) throws IOException {
 	if (!dataDir.exists() || !dataDir.isDirectory()) {
 		throw new IOException(dataDir
 				+ " does not exist or is not a directory");
 	}
 	IndexWriter writer = new IndexWriter(indexDir, new StandardAnalyzer(),
 			true);
 	indexDirectory(writer, dataDir);
 	writer.close();
 }
private static void indexDirectory(IndexWriter writer, File dir)
 throws IOException {
 	File[] files = dir.listFiles();
 	for (int i = 0; i < files.length; i++) {
 		File f = files[i];
 		if (f.isDirectory()) {
 			indexDirectory(writer, f); // recurse
 		} else if (f.getName().endsWith(".txt")) {
 			indexFile(writer, f);
 		}
 	}
 }
private static void indexFile(IndexWriter writer, File f)
 		throws IOException {
 	System.out.println("Indexing " + f.getName());
 	Document doc = new Document();
 	doc.add(Field.Text("contents", new FileReader(f)));
 	doc.add(Field.Keyword("filename", f.getCanonicalPath()));
 	writer.addDocument(doc);
 }
public static void main(String[] args) throws Exception {
 	if (args.length != 2) {
 		throw new Exception(
 		"Usage: " + Indexer.class.getName() + " < index > < data >");
 	}
File indexDir = new File(args[0]);
 	File dataDir = new File(args[1]);
 	index(indexDir, dataDir);
 }
}

В этом примере в каждый документ входит два поля: contents – содержание текстового файла и его полное имя (с путем) – filename. Поле с содержанием специальным образом обрабатывается с помощью StandardAnalyzer, это будет описано позже. Поле filename индексируется как есть. Статические методы класса Filed: Text и Keywords будут подробно объяснены после краткого взгляда внутрь Lucene.

Внутри Lucene индекса

Формат индекса Lucene – это каталог с различными файлами. Вы можете успешно использовать Lucene и без понимания структуры каталога. Можно свободно пропустить этот раздел и рассматривать каталог как черный ящик без заботы о том что внутри. Если же вы готовы рассматривать глубже, то вы обнаружите что файлы созданные в прошлом разделе содержат статистику и другие данные облегчающие быстрый поиск и ранжирование. Индекс содержит последовательность документов. В нашем примере, каждый документ представляет информацию о текстовом файле.

Документ (Document)

Документ это основный объект, которым оперирует Lucene. Документы содержат последовательность полей Поля имеют имена («contents» и «filename» в нашем примере).Значения полей это последовательность элементов (terms).

Элементы (Terms)

Элементы это мельчайшие части конкретного поля. Поля имеют три атрибута.

Анализ

Анализ происходит в полях что помечены как размечаемые(tokenized). В нашем примере, мы индексируем поле contents – содержание текстовых файлов. Наша цель сделать все слова в текстовом файле пригодными для поиска,
но на практике цель немного отличается нам не нужно делать индекс чувствительным к каждому полю. Такие слова как «a», «and» и «the» обычно обдуманно не подходят для поиска и исключением их из индекса можно оптимизировать
индекс, такие слова называется стоп-слова.

Какую сущность мы ищем? Что является словом, как отделить одно слово от другого. Акронимы, электронные адреса, интернет ссылки и другие такие конструкции, оставлять незатронутым и делать доступными для поиска? Если
слово в единственном числе проиндексировано, делать ли доступным для поиска его множественное число?
Это все интересные и сложные вопросы, ответы на которые позволяют выбрать какой из анализаторов использовать, или создавать свой.

В нашем примере, мы используем в встроенный в Lucene анализатор StandardAnalyzer, но существуют и другие встроенные анализаторы, а также и некоторые дополнительные. Приведем не большой кусочек кода который позволяет рассмотреть работу различных анализаторов на двух различных строках.

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.WhitespaceAnalyzer;
import org.apache.lucene.analysis.StopAnalyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.SimpleAnalyzer;
import org.apache.lucene.analysis.snowball.SnowballAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import java.io.StringReader;
import java.io.IOException;public class AnalysisDemo {
    private static final String[] strings = {
        "The quick brown fox jumped over the lazy dogs",
        "XY&Z Corporation - xyz@example.com"    };
private static final Analyzer[] analyzers = new Analyzer[]{
        new WhitespaceAnalyzer(),
        new SimpleAnalyzer(),
        new StopAnalyzer(),
        new StandardAnalyzer(),
        new SnowballAnalyzer("English", StopAnalyzer.ENGLISH_STOP_WORDS)
    };
public static void main(String[] args) throws IOException {
        for (int i = 0; i < strings.length; i++) {
            analyze(strings[i]);
        }
    }
private static void analyze(String text) throws IOException {
        System.out.println("Analzying \"" + text + "\"");
        for (int i = 0; i < analyzers.length; i++) {
            Analyzer analyzer = analyzers[i];
            System.out.println("\t" + analyzer.getClass().getName() + ":");
            System.out.print("\t\t");
            TokenStream stream = analyzer.tokenStream("contents",
                  new StringReader(text));
                  new StringReader(text));
            while (true) {
                Token token = stream.next();
                if (token == null) break;
System.out.print("[" + token.termText() + "] ");
            }
            System.out.println("\n");
        }
    }
}

Метод analyze использует исследовательскую форму Lucene API, для обычного индексирования эти функции не нужны, но удобны для рассмотрения как различные анализаторы размечают текст на элементы (термы). Результат выполнения следующий:

Analzying "The quick brown fox jumped over the lazy dogs"org.apache.lucene.analysis.WhitespaceAnalyzer:[The] [quick] [brown] [fox] [jumped] [over] [the] [lazy] [dogs]
org.apache.lucene.analysis.SimpleAnalyzer:
[the] [quick] [brown] [fox] [jumped] [over] [the] [lazy] [dogs]
org.apache.lucene.analysis.StopAnalyzer:
[quick] [brown] [fox] [jumped] [over] [lazy] [dogs]
org.apache.lucene.analysis.standard.StandardAnalyzer:
[quick] [brown] [fox] [jumped] [over] [lazy] [dogs]
org.apache.lucene.analysis.snowball.SnowballAnalyzer:
[quick] [brown] [fox] [jump] [over] [lazi] [dog]
Analzying "XY&Z Corporation - xyz@example.com"
org.apache.lucene.analysis.WhitespaceAnalyzer:
[XY&Z] [Corporation] [-] [xyz@example.com]
org.apache.lucene.analysis.SimpleAnalyzer:
[xy] [z] [corporation] [xyz] [example] [com]
org.apache.lucene.analysis.StopAnalyzer:
[xy] [z] [corporation] [xyz] [example] [com]
org.apache.lucene.analysis.standard.StandardAnalyzer:
[xy&z] [corporation] [xyz@example] [com]
org.apache.lucene.analysis.snowball.SnowballAnalyzer:
[xy&z] [corpor] [xyz@exampl] [com]

Анализатор WhitespaceAnalyzer самый простой, он просто разбивает на элементы основываясь на пробелах.
Он даже не меняет регистр букв. Поиск регистрочувствительный поэтому обычной практикой приведение к нижнему регистру текста в процессе фазы анализа. Остальные анализаторы приводят к нижнему регистру в процессе анализа. SimpleAnalyzer разбивает текс основываясь на несимвольных разделителях, таких как специальные символы (‘&’, ‘@’, и ‘.’). StopAnalyzer использует фенкциональность SimpleAnalyzer и так же удаляет основные английские стоп-слова.

Наиболее сложный анализатор встроенный в ядро Lucene это StandardAnalyzer. Под ним скрывается основанный на JavaCC парсер с правилами для электронных адресов, акронимов, веб-адресов, дробных чисел, а так же он приводит к нижнему регистру и удаляет слова входящие в список стоп-слов. Анализатор построен по архитектуре цепочки фильтров, таким образом несколько разноцелевых правил комбинируются.

Анализатор SnowballAnalyzer демонстрирует не встроенный на данных момент в Lucene функциональность. Эта часть кода доступна в jakarta-lucene-sandbox CVS хранилище. Он показывает наиболее специфичные результаты. Алгоритм его основан на языке текста, и использует стемминг (stemming). Алгоритмы стемминга пытаются привести слово к его основной корневой форме. Это мы видим в примере с «lazy» который был приведен к «lazi». Слово «laziness» так же
будет приведено к «lazi», тем самым при поиск мы найдем оба документа сразу. Другой интересный пример работы
SnowballAnalzyer с текстом «corporate corporation corporations corpse», который приведет к следующим результатам

[corpor] [corpor] [corpor] [corps]

На этом мы остановим исследование текстовых анализаторов. Так как за этой темой стоит множество диссертаций и патентов, и конечно множество исследований. Теперь, зная как разбивается текст при индексировании, построим класс для поиска.

Поиск

В соответствии с нашим примером индексирования, создадим класс поиска Seacher который показывает результаты для того же индекса. Основные части этого класса:

import org.apache.lucene.document.Document;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.Hits;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.store.Directory;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import java.io.File;public class Searcher {
    public static void main(String[] args) throws Exception {
        if (args.length != 2) {
            throw new Exception(
            "Usage: " + Searcher.class.getName() + " < index > <query>");
        }
File indexDir = new File(args[0]);
        String q = args[1];
if (!indexDir.exists() || !indexDir.isDirectory()) {
            throw new Exception(indexDir + " is does not exist or is not a directory.");
        }
search(indexDir, q);
    }
public static void search(File indexDir, String q)  throws Exception{
        Directory fsDir = FSDirectory.getDirectory(indexDir, false);
        IndexSearcher is = new IndexSearcher(fsDir);
Query query = QueryParser.parse(q, "contents", new StandardAnalyzer());
        Hits hits = is.search(query);
        System.out.println("Found "
        hits.length() + " document(s) that matched query '" + q + "':");
        for (int i = 0; i < hits.length(); i++) {
            Document doc = hits.doc(i);
            System.out.println(doc.get("filename"));
        }
    }
}

Объект Query из API Lucene создается в IndexSearcher.search методе. Объект Query может быть создан через
API используя встроенные подклассы Query:

и несколько других. В нашем случае мы используем метод parse класса QueryParser для разбора введенного пользователем запроса. QueryParser это сложный основанный на JavaCC парсер который разбирает из запроса, похожего на Google запрос, в представление Lucene API Query.
Синтаксис запросов Lucene документирован на сайте Lucene, выражения могут содержать логические операции, указание на поля в которых искать, группировку, ранжирование запросов и многое другое. Как пример, выражение «+java -microsoft», которое вернет совпадения для документов содержащих слово «java», но не содержащих слово «microsoft.» QueryParser.parse необходимо указать поле по умолчанию для поиска, и в нашем случае мы укажем «contents» поле. Это будет эквивалентно запросу «+contents:java – contents:microsoft», но будет намного удобнее в использовании пользователям.
Так же разработчик должен указать какой анализатор использовать для разметки запроса. В нашем случае мы используем StandardAnalyzer, который тот же самый что и при индексировании. Обычно один и тот же анализатор используется и для индексирования и для разбора строки запроса. Если мы использовали SnowballAnalyzer то как было показано в примере исследований анализатора, то запрос со словом «laziness» вернет все документы с элементом «lazi».После поиска, возвращается набор ссылок на результаты – Hints Collection.
Ссылки возвращаются в порядке определяемый «очками» – релевантностью документа. Обсуждение алгоритма начисления очков не входит в рамки этой статьи, но можно быть уверенным что алгоритм по умолчанию подойдет к большинству приложений, и существует возможность настройки его в тех редких случаях когда этого алгоритма недостаточно.
Набор результатов сам по себе не является набором документов которые были найдены. Так сделано в частности и для повышения эффективности. Но ссылка (hint) представляет простой метод для получения документа. В нашем примере
мы выводим на экран поле с именем «filename» для каждого документа что были получены в результатах поиска.

Подводя итоги

Lucene логичный и красиво построенный продукт с изумительной функциональностью, это требует от разработчика искусного подхода к построению приложения вокруг него. Мы кратко обсудили проблему выбора анализатора, кроме этого
перед разработчиком стоят следующие вопросы:

Источники

Для дополнительной информации о Lucene, посетите сайт Lucene.
Там вы сможете найти информацию о синтаксисе запросов и формате индексных файлов.

Erik Hatcher соавтор книги об Ant’е,
«Java Development with Ant» (опубликовано издательством Manning),
и так же соавтор книги «Lucene in Action».