Полнотекстовый поиск в файловых хранилищах

Опубликовано:
22 января 2016 в 09:41

По умолчанию полнотекстовый поиск в системе DIRECTUM не учитывает тексты документов в файловых хранилищах. Для поиска по файловым хранилищам необходимы дополнительные настройки операционной системы и системы DIRECTUM. Ранее полнотекстовый поиск осуществлялся только с помощью службы Indexing Service, в версии 5.2 мы добавили возможность настраивать поиск с помощью службы Windows Search.

Для чего нужна служба Windows Search?

Причина связана с внешними факторами. С выходом Windows Server 2012 компания Microsoft отказалась от поддержки службы Indexing Service, которая использовалась в IS-Builder для полнотекстового поиска по документам в файловых хранилищах. Чтобы поиск по тексту документов работал на компьютерах с новыми операционными системами, мы реализовали интеграцию с другой службой полнотекстового поиска – Windows Search.

Клиенты, использующие службу Indexing Service, при переходе на версию 5.2 не испытают никаких неудобств. По умолчанию, как и прежде, будет устанавливаться служба Indexing Service. Если у клиента нет никаких ограничений на ее использование, после всех настроек системы полнотекстовый поиск будет работать.

Если файловые хранилища находятся на компьютерах с операционной системой Windows Server 2008/2008R2 и выше, то для работы полнотекстового поиска настройте службу Windows Search. Обращаем внимание, что ее нельзя установить на компьютер с установленной службой Indexing Service. Поэтому перед установкой убедитесь, что служба Indexing Service удалена. После этого можно приступать к установке и настройке новой службы.

Таким образом, выбор службы зависит только от установленной операционной системы и от ваших личных предпочтений. Однако можно отметить и некоторые достоинства службы Windows Search:

• Во-первых, ее универсальность. Служба стабильно работает на всех версиях ОС, которые поддерживает компания .
• Во-вторых, при использовании службы можно более гибко регулировать, в каких папках файловых хранилищ производить поиск. Права на папки задаются при настройке службы. Таким образом, можно исключить из поиска папки с конфиденциальной информацией.

Настройки служб Indexing Service и Windows Search значительно отличаются друг от друга. Подробнее о настройке и отключении полнотекстового поиска читайте в справке.

Боремся с ростом файла Windows.edb службы поиска Windows

Файл Windows.edb представляет собой индексную базу данных службы поиска Windows (Windows Search). Поисковый индекс позволяет пользователям выполнять быстрый поиск данных и файлов на диске по индексной базе файлов, электронных писем в pst файлах и другого контента. Индексирование выполняется в фоновом режиме процессом SearchIndexer.exe . Естественно, чем больше файлов в системе, тем больший размер может быть у файла Windows.edb. В некоторых случаях он может вырастать до десятков и даже сотен Гб, занимая все свободное место на системном диске.

Файл Windows.edb является скрытым и по-умолчанию хранится в каталоге C:\ProgramData\Microsoft\Search\Data\Applications\Windows\.

Например, в моем случае файла Windows.edb вырос до 15,5 Гб (а это почти 15% на моем 100 Гб SSD диске).

Текущий размер файла Windows.edb в Windows можно получить следующей командой PowerShell:

Далее рассмотрим, как уменьшить размер индексного файла Windows.edb службы поиска Windows.

Перестройка поискового индекса WindowsSearch

Самый “правильный”, но не самый эффективный способ уменьшить размер файла Windows.edb – выполнить переиндексацию данных на диске. Для этого откройте Панель Управления -> Indexing Options -> Advanced и нажмите кнопку Rebuild (для открытия этого диалогового окна достаточно выполнить команду: Control srchadmin.dll ).

Через некоторое, Windows Search закончит полную переиндексацию данных на диске и размер edb файла несколько уменьшится время (у меня на компьютере ребилд поискового индекса занял несколько часов).

Уменьшаем размер Windows.edb дефрагментацией с помощью утилиты Esentutl

Индексный файл службы поиска Windows представляет собой базу в формате EDB. Вы можете выполнить дефрагментацию EDB базы с помощью стандартной утилиты обслуживания таких баз — esentutl.exe (Extensible Storage Engine Utilities — должна быть хорошо знакома администраторам Exchange). Дефрагментация базы выполняется в офлайн режиме (база не должна использоваться), поэтому сначала придется остановить службы поиска. Все эти операции можно объединить в один bat/cmd скрипт:

sc config wsearch start=disabled
sc stop wsearch
esentutl.exe /d %ProgramData%\Microsoft\Search\Data\Applications\Windows\Windows.edb
sc config wsearch start=delayed-auto
sc start wsearch

При работе утилита esentutl выводит прогресс выполнения дефрагментации файла EDB на экран.

Это означает что ваша система 64 битная и для выполнения дефрагментации нужно использовать x32 версию esentutl. В этом случае третья команда будет выглядеть так:
«C:\Windows\SysWOW64\esentutl.exe» /d %AllUsersProfile%\Microsoft\Search\Data\Applications\Windows\Windows.edb

В моем случае размер файла Windows.edb после дефрагментации уменьшился на 30%.

Удаление и пересоздание файла Windows.edb

Если места на диске критически мало, можно удалить файл Windows.edb. Это действие безопасно, т.к. вы не теряете никакие данные, сбрасывается только поисковый индекс. Для удаления файла Windows.edb остановите службу Windows Search, затем удалите файл и запустите службу.

net stop «Windows Search»
REG ADD «HKLM\SOFTWARE\Microsoft\Windows Search» /v SetupCompletedSuccessfully /t REG_DWORD /d 0 /f
del %PROGRAMDATA%\Microsoft\Search\Data\Applications\Windows\Windows.edb
net start «Windows Search»

После перезапуска, служба Windows Search начнет процесс переиндексации данных на дисках компьютера и пересоздаст файл Windows.edb (в процессе полной переиндексации производительность системы может снизится).

Перенос файла Windows.edb на другой диск

В некоторых случаях, когда размер файла постоянно увеличивается Windows.edb, имеет смысл перенести индексную базу поиска Windows на другой диск (раздел). Тем самым экстремальный рост поисковой базы не приведет к остановке ОС из-за исчерпания свободного места на системном разделе. Довольно часто файл Windows.edb переносят на на терминальных серверах RDS, на которых пользователи активно работают с файлами, личными папками и другим индексируемым контентом.

Для смены местоположения файла перейдите в Control Panel –> Indexing Options -> Advanced -> Index location-> New Location и укажите путь к новому местоположению файла Windows.edb и нажмите OK.

Перезапустите службу поиска:
Restart-Service wsearch

Патч для предотвращения чрезмерного роста файла Windows.edb в Windows 8 / Windows Server 2012

Для решения проблема постоянного роста размера файла Windows.edb в Windows 8 и Windows Server 2012 было выпущено специальное исправление, которое включено в состав пакета обновлений от мая 2013 года – KB 2836988. Рекомендуется вручную скачать и установить его в данных версиях Windows. Обратите внимание, что обновление не уменьшает текущий размер файла Windows.edb, а только исправляет проблемы, вызывающие его чрезмерный рост. Для уменьшения размера edb файла вам нужно перестроить поисковый индекс или выполнить дефрагментацию как описано выше.

Почему сильно растет размер файла Windows.edb

Если после дефрагментации и/или перестройки поискового индекса, его размер опять начинает сильно расти, попробуйте следуующие методики, которые могут помочь решить проблему.

1. Запустите встроенное средство исправления неполадок поиска Windows 10 (SearchandIndexingTroubleshooter). Чтобы запустить его, выполните команду: msdt.exe -ep SystemSettings_Troubleshoot_L2 -id SearchDiagnostic . В списке проблем выберите, что поиск или индексация выполняется медленно (Search or indexing is slow). Далее мастер устранения неполадок попробуем вернуть службу Windows Search в нормальное состояние;
2. Старайтесь индексировать только необходимые контент. Исключайте из поискового индекса элементы, поиск в которых вы не используете. Нажмите кнопку Modify в настройках индексирования и в окне Indexing Location отключите пути и приложения, которые не нужно индексировать. После изменения настроек путей индексирования нужно каждый раз перестраивать индекс Advanced ->Rebuild;

Служба индексации windows server 2012 r2

This forum has migrated to Microsoft Q&A. Visit Microsoft Q&A to post new questions.

Asked by:

Question

We want to configure windows Indexing Service on windows server 2012 R2. Currently we are using windows server 20008 R2. Indexing service is working fine on windows server 2008 R2.

We are facing problem while creating catalog in windows server 2012 R2.We have enabled windows search service functionality by following the below link

We have followed below steps t o enable the Windows Search service in Windows Server 2012, follow these steps:

1. Start Server Manager.
2. Click Manage, and then click Add Roles and Features.
3. On the Before You Begin page, click Next.
4. On the Installation Type page, select Role-based or Feature-based Installation, and then click Next.
5. On the Server Selection page, select the server or virtual hard disk on which to install Windows Search Service.
6. On the Features page, select Windows Search Service, and then click Next
7. On the Confirmation page, verify that Windows Search Service is listed, and then click Install.

Please see below screen shot for same

We have tried to create catalog in Windows server 2012 R2 like windows server 2008 R2 in Computer Management functionality but we are unable to find Indexing Service their.

Could you please help me sort out the issue regarding how to configure Windows Search service in Windows server 2012 R2?

and How to create catalogs in Windows server 2012 R2?

Any help will be appreciable.

All replies

You may try the suggestions below

1 Rebuild Search Index

Open Control Panel > Indexing Options. In the Advanced Options, Click on Restore Defaults and also Rebuild Index. Click OK.

2 Type ‘services.msc’ in the run . Scroll down to the ‘Windows Search Service’, and ensure that it is set on Automatic and Running. Restart this Service. You will also have to ensure that RPC (Remote Procedure Call) is running and set on automatic.

If there is any other concern, please don’t hesitate to let me know.

Please remember to mark the replies as answers if they help and unmark them if they provide no help.
If you have feedback for TechNet Subscriber Support, contact tnmff@microsoft.com.

Thank you for your reply.

I have done all setting as per the your suggestion.But my main issue is how to create Catalogs in Windows Search Service? like Windows server 2008.Because on the basic of catalog we are fetching search results from Indexing service in our Web application(Asp.net)

We have thousands of file on local folder so we are indexing these files from local folder.So we get results like Filename, Size, PATH, rank, DocTitle, HitCount from Scope (i.e. Created Directory in Catalog ). We are directly fetching results from Scope so, it will return the search results on the basic of Search Text from Catalog

For more information see below Catalog and Directory which we have in Windows Server 2008 R2 (Which is missing in Windows Server 2012)

Please let us know how to tackle this issue.

Did you ever get a solution to this problem? I am facing the same issue.

I haven’t got any solution on this problem till now.I am still finding the solution on this issue. If you find any solution please share with me.

You could follow the steps below:

Adding a New Location to be Indexed

The first step is to create a Shared Folder to host the search index. This can easily be done by going to the Server Manager > File and Storage Services > Shares and setting the appropriate User and File permissions.

Next you should enable Windows Search Service from your server. See the steps outlined above to do so on Windows Server 2012.

With Windows Search Service installed and the shared folder created, you will then need to add that shared folder to the index. On the server, go to Control Panel > Indexing Options then click Modify to add the folder or even an entire drive to the index.

Please remember to mark the replies as answers if they help and unmark them if they provide no help.
If you have feedback for TechNet Subscriber Support, contact tnmff@microsoft.com.

• Proposed as answer by frank_song Microsoft contingent staff Monday, July 17, 2017 5:58 AM

Hi,
Just checking in to see if the information provided was helpful. Please let us know if you would like further assistance.

Please remember to mark the replies as answers if they help and unmark them if they provide no help.
If you have feedback for TechNet Subscriber Support, contact tnmff@microsoft.com.

thanks, yes that’s helpful.

Unfortunately I cannot test it out yet because I am researching the options to move a system that uses Indexing Service on Win Server 2008 to Win server 2012+.

The current system has Indexing Service maintaining an index (catalog) of a folder of .pdf documents. There is a linked SQL Server setup to this catalog that enables a web application to query the text inside the .pdf’s and return a list of documents.

I need to know if I can do the same thing on win server 2012+ before we go ahead and commit to a new server subscription. Alas I don’t have a new server to play with.

Can anyone answer this?

It seems more related with SQL，you could open another thread in SQL forum：

Please remember to mark the replies as answers if they help and unmark them if they provide no help.
If you have feedback for TechNet Subscriber Support, contact tnmff@microsoft.com.

It seems more related with SQL，you could open another thread in SQL forum：

Please remember to mark the replies as answers if they help and unmark them if they provide no help.
If you have feedback for TechNet Subscriber Support, contact tnmff@microsoft.com.

any news on the above as I am trying to find a solution for windows 2016

did u find a solution on the above as i have same issue and I am currently searching for a solution

thanks in advance

That works fine on single machine. But if in cluster, after node swap index gets DELETED & we start from scratch.

So weeks of indexing gone to pieces!

I ran into this quite old thread to refresh my mind why it’s not installed on our servers when I saw the «disc not indexed» warning.

Did you guys step over the warning in the description when adding the Windows Search feature? It’s intended for desktop and small server configurations. Not for Enterprise solutions.

No one can be at peace, unless he has his freedom. Malcolm X

Did you get any working solution for this Indexing Service vs Windows Search Service? Even we’ve to migrate to windows 2012.

Please do share your inputs.

On a single standalone Server 2012R2/2016 there is NO problem with indexing.

It run, it indexes, it is available to end user in Windows Explorer search window.

When i try to create a share folder, its pulling all the original docs from remote location to the local machine. In windows we use to create index catalogs where only the indexing of the files use to happen on the local machine instated of original files.

If you have any other alternate to it please let me know.

Really appreciate your help 🙂

But you never index a share, you index on a SERVER where there are mapped drives!

So if your share is on server drive d:\myshare which to user is presented as \\myserver\myshare, you do actually index d:\myshare

Thank you Frank! Your 1st option worked perfectly! Trying to do it from the sever manager is useless! The documentation circling the web enabling it via role really should be obliterated because it’s untrue garbage!

I could use some guidance regarding this issue. I’ve read through this thread as well as many other resources on the web. My scenario is that I have had a Server 2012 (NOT R2) file server for several years. It hosts 18 shared «department» folders and the user folders for about 160 users (Documents and Desktop redirect here).

In all these years, this has worked perfectly fine. However, over the past 6 months or so, as I’ve rolled out Windows 10 PCs to more and more users, we have all noticed that file access is. SLOW. At times, downright unavailable. This goes for documents for users, network drives, the whole bit. It’s getting more and more infuriating by the day.

Now today, I have a new problem that may or may not be related. My boss called me and said that he is searching for terms in his department’s shared drive (mapped on his PC via GPO) and not getting results. Now, he is searching for text that is INSIDE a document, not necessarily a filename. For example, he knows that a recent document of his contains the text «cidermill», so he searches for that. He gets no results. And yet, we did finally find (manually opening doc after doc after doc) a Word document that had that text in it.

He CLAIMS that searching as he did used to work. As a test, I performed the exact same search (I have exactly the same drive access), but did so on my (STILL) Windows 7 PC. I got the same result he did, nothing.

I then performed another search, this time in my documents folder (which is redirected to the file server, just like everyone else) for a term that I know for a fact is INSIDE a Word document, but nowhere in any filename. The search DID find the document I was seeking.

I checked all the Indexing settings I know of and read about on the PCs and all looks well. So I went to the file server to poke around. I found that «Indexing Options» isn’t even in the Control Panel. So I checked and noticed that «Windows Search Service» isn’t even turned on as a Feature. That begs the question, should it be? Will it help PC client access to all these files? If so. By not being on, does this mean this file server has been fundamentally misconfigured all this time? Also, if so, why are the slow access problems only popping up recently with the rollout of more and more Windows 10? And finally, in an earlier post, «Remy G» stated, «It’s intended for desktop and small server configurations. Not for Enterprise solutions.» I DO see that warning, screenshot here:

Here is a screenshot of my FS share properties:

As you can see, it all totals about 900GB and roughly 650,000 files. In Microsoft-speak, would this be considered an»Enterprise Scenario» which would make the Windows Search Service not recommended? IMHO, this is a pretty simple file server setup.

Your expertise would be most welcome as this is a problem I very much need to solve ASAP.

THANK YOU in advance for any help you can offer!