# Стопслова

`Стопслова` -- наиболее часто используемые слова, т.е слова, встречающиеся почти в каждом документе коллекции. Стопслова удаляются перед созданием индекса, что посзволяет сократить размер индекса без сколько-нибудь значимой потери в качестве поиска.

## Команда `StopwordFile`

Загружает стоп-слова из указаного файла. Вы можете задать как абсолютный, так и относительный путь. Относительный путь задаётся от директории `etc`. Можно использовать несколько команд `StopwordFile`.

    StopwordFile stopwords/en.sl

Вы должны использовать один и тот же надор команд `StopwordFile` в `indexer.conf` и `search.htm` (`searchd.conf` если используется `searchd`).

## Формат файла стопслов

Вы можете создавать свои файлы стоп-слов. В качестве примера, вы можете использовать файл английских стоп-слов `etc/stopwords/en.sl`. В начале листа поместите следующие две команды:

    Language: en
    Charset:  us-ascii

- `Language` - стандартный (ISO 639) двух-буквенный код языка.

- `Charset` - любая кодировка, поддерживаемая DataparkSearch (см. ).

Затем следует список слов, по одному на строку. Каждое слово записывается в кодировке, указанной выше командой `Charset:`.

Вы можете использовать дополнительную команду `Match:` для задания шаблона, любое слово подпадающее под который будет считаться стоп-словом. Например:

    Match: regex ^\$##

По этой команде любое слово, начинающееся с `$##` будет рассматриваться как стоп-слово.

Опции команды `Match:` аналогичны опциям команды `Allow` (см. ). Аргументы записываются в кодировке, указанной командой `Charset:`. Регулярные выражения в данный момент ограничены (например, не поддерживаются интервалы).

# Клоны документов

`Клоны` -- документы, имеющие одинаковые значения Hash32 вычисляемой по всем секциям документа. Копии одного и того же документа имеют одинаковые значения Hash32. Это позволяет не индексировать дубликады документов в коллекции. Однако: всли в файле `sections.conf` определена только секция `title`, тогда все документы с разными телами, но одинаковыми title будут считаться клонами.

## Команда `DetectClones`

    DetectClones yes/no

Включает или выключает механихм определения и игнорирования "клонов" докуиентов. При включении, `indexer` будет определять копии документов, расположенных, например, на зеркалах, и не индексировать их повторно. Значение по умолчанию: yes.

    DetectClones no