Jose Manuel Ortega Candel - Desarrollo de motores de búsqueda utilizando herramientas open source

1.5 Recuperación de la información

1.5.1 Extracción de información

1.5.2 Sistema de búsqueda/respuesta

1.6 Motores de búsqueda e indexadores

1.6.1 Lucene

1.6.2 Índice invertido

1.6.3 Apache Solr

1.6.4 ElasticSearch

1.6.5 Otros motores de búsqueda

1.7 Herramientas de procesamiento de lenguaje natural (PLN)

CAPÍTULO 2

APACHE LUCENE

2.1 Introducción a Apache Lucene

2.2 Módulos y funcionalidades de Apache Lucene

2.3 Arquitectura de Apache Lucene

2.3.1 Proceso de tokenización y búsqueda en Apache Lucene

2.4 Trabajar con Apache Lucene

2.4.1 Configuración del entorno

2.4.2 Crear un índice

2.4.3 Crear y escribir documentos en un índice

2.5 Realizar búsquedas en Apache Lucene

2.5.1 Obtención de un IndexSearcher

2.5.2 Proceso de búsqueda con IndexSearcher

2.5.3 Crear consultas con Lucene QueryParser

2.5.4 Sintaxis de las consultas en Apache Lucene

2.6 Búsqueda de información con Apache Lucene

2.7 Búsqueda en múltiples índices de Lucene

2.8 Herramientas de administración de Lucene

2.9 Herramientas de búsqueda que usan Apache Lucene

2.9.1 Krugle

2.9.2 Google Dataset Search

2.9.3 Otros repositorios y portales

CAPÍTULO 3

APACHE SOLR

3.1 Introducción a Apache Solr

3.2 Arquitectura de Apache Solr

3.3 Indexación e índice invertido en Apache Solr

3.3.1 Relevancia y filtro en las búsquedas

3.4 Instalación de Solr

3.5 Configurar Apache Solr

3.5.1 Ficheros de configuración y esquema

3.5.2 Proceso de indexación

3.5.3 Indexación de datos con SimplePostTool

3.5.4 Esquema administrado en Apache Solr

3.5.5 Añadir información al índice

3.6 Búsqueda de documentos

3.6.1 Usar la API REST

3.6.2 Consultas básicas de Solr

3.6.3 Componente stats (estadísticas)

3.7 Consultas avanzadas de Solr

3.7.1 Paginación y clasificación

3.7.2 Navegación facetada en Solr

3.7.3 Búsqueda de facetas en Solr

3.8 Componentes de una petición en Solr

3.8.1 Controladores Request Handler

3.9 Analizadores en Apache Solr

3.9.1 Definir campos personalizados

3.9.2 Configuración de los tipos de campos

3.9.3 Propiedad score

3.10 Monitorización del rendimiento de Apache Solr

3.10.1 Página de plugins/estadísticas de Apache Solr

3.11 Ejecución en modo Cloud

3.11.1 Terminología usada en SolrCloud

3.11.2 SolrCloud

3.11.3 Ejecutar SolrCloud

3.11.4 Indexación distribuida

3.11.5 Ventajas de SolrCloud

3.12 Arrancar Apache Solr desde Docker

3.13 Interactuar con Solr desde Java

3.13.1 Añadir Solrj a un proyecto Maven

3.13.2 Conexión con el servidor Solr desde Java

3.14 Crawling con Apache Nutch y conexión con Apache Solr

3.15 Conclusiones de Apache Solr

CAPÍTULO 4

ELASTICSEARCH

4.1 Introducción a ElasticSearch

4.1.1 Ventajas de ElasticSearch sobre Apache Solr

4.2 Uso de ElasticSearch para proyectos de Big Data

4.3 Arquitectura de ElasticSearch

4.3.1 Nodos en ElasticSearch

4.4 ElasticSearch como solución distribuida

4.5 Fragmentos y réplicas en ElasticSearch

4.6 Instalación de ElasticSearch

4.7 Crear un índice en ElasticSearch

4.8 API REST de ElasticSearch

4.8.1 Mapping o estructura de los datos del índice

4.8.2 Recuperar parte de un documento

4.8.3 Asignar un mapeo a un índice

4.8.4 Query DSL (solicitudes DSL)

4.8.5 Búsquedas en ElasticSearch

4.8.6 La consulta multi_match

4.8.7 Navegación facetada en ElasticSearch

4.8.8 Agregaciones en documentos

4.8.9 Autocompletado en ElasticSearch

4.8.10 Analizadores en ElasticSearch

4.9 Relevancia de documentos en ElasticSearch

4.9.1 Puntuación y relevancia de los documentos

4.9.2 Mejorar la relevancia de los resultados de búsqueda

4.10 Estadísticas e información sobre el clúster, índices y nodos

4.10.1 Estado del clúster

4.10.2 Métricas del clúster

4.10.3 Estadísticas de los índices

4.11 Herramientas de monitorización en ElasticSearch

4.11.1 ElasticSearch Head

4.11.2 ElasticSearch query client

4.11.3 Cerebro

CAPÍTULO 5

CLIENTES ELASTICSEARCH

5.1 Clientes de conexión en Java

5.2 Conexión al clúster de ElasticSearch

5.3 Gestionar índices

5.4 Indexación de documentos en el índice

5.5 Búsqueda de documentos en el índice

5.6 Integración con Spring Data

5.7 Seguridad en ElasticSearch

5.8 Conclusiones de ElasticSearch

CAPÍTULO 6

VISUALIZACIÓN DE DATOS CON KIBANA

6.1 Introducción a Kibana

6.2 Stack ELK

6.2.1 Principales usos de ELK

6.2.2 Stack ELK en contenedores Docker

6.3 Instalación de Kibana

6.4 LogStash

6.4.1 Instalación de LogStash

6.4.2 Configuración de LogStash

6.4.3 Otros servicios de Elastic

6.5 Monitorización de LogStash desde Kibana

6.6 Seguridad en Kibana

CAPÍTULO 7

MOTORES DE BÚSQUEDA CON PYTHON

7.1 Conectando con Solr desde Python

7.2 Integración de ElasticSearch con Python

7.2.1 Crear un índice e insertar documentos usando Python

7.2.2 Realizar búsquedas usando Python

7.3 Consultar ElasticSearch a través de la API REST en Python

7.4 Optimizar un índice en ElasticSearch

7.5 Indexar documentación de Django

7.6 Whoosh como motor de búsqueda en Python

7.6.1 Whoosh schema

7.6.2 Realizar búsquedas en Whoosh y scoring

7.7 Django-haystack

7.7.1 Integrar haystack en una aplicación Django

CAPÍTULO 8

GLOSARIO DE TÉRMINOS

Este libro está especialmente pensado para perfiles con conocimientos previos en programación orientada a objetos, principalmente con los lenguajes de programación Java y Python. Va dirigido a aquellos perfiles con habilidades de programación que necesiten trabajar con motores de búsqueda open source y a quienes precisen llevar a cabo tareas orientadas a la extracción, procesamiento y manipulación de grandes volúmenes de datos no estructurados.

Analizaremos los principales motores de búsqueda de código abierto, como Apache Lucene, Solry ElasticSearch. Este último es uno de los motores de búsqueda open source para Big Data con mayor crecimiento en la industria. Se caracteriza por sus grandes capacidades de flexibilidad, velocidad, escalado y herramientas de soporte asociadas, y recorre todo el ciclo de trabajo desde la construcción de los procesos de extracción e incorporación de datos hasta el trabajo de análisis y monitorización mediante herramientas de búsqueda y visualización en tiempo real con herramientas como Kibana.

A lo largo del libro, el lector encontrará ejemplos de código fuente en los lenguajes de programación Java y Python. Los scripts y proyectos implementados se pueden encontrar en el repositorio de GitHub:

https://github.com/Marcombo/motores_busqueda_open_source

A partir del capítulo 2, se recomienda al lector seguir los ejemplos prácticos del libro junto con el código fuente que se puede encontrar en el repositorio de GitHub, con el objetivo de practicar los conceptos que se analizan de forma teórica. En dicho repositorio también hallará instrucciones de instalación del entorno y de las principales herramientas a nivel de desarrollo que se utilizan a lo largo del libro.