Crawling y contexto
De dónde sale el contenido que el bot usa en el RAG y cómo se transforma en embeddings.
¿Cuándo tiene sentido crawlear?
El crawling visita muchas URLs de tu dominio y crea contextos indexados para la búsqueda RAG. Conviene cuando el sitio tiene decenas o cientos de páginas que quieres que el bot pueda consultar (tienda, blog grande, centro de ayuda extenso).
Si tu web es esencialmente una landing o un menú corto, no hace falta crawlear: pega el texto en la Esencia del bot o en un par de contextos TEXT. Ahorras tiempo de indexación y tokens en cada conversación. Más criterios en Temas base.
Crawling del sitio
Un crawler visita las URLs de tu sitio (dominio del bot), descarga el HTML y lo guarda. A partir de ese HTML se generan varias versiones del contenido (limpio, markdown, con o sin enlaces e imágenes) y se crea un contexto por página, asociado a cada URL.
Configuración típica
Puedes elegir el número de páginas a extraer (según los límites de tu cuenta) y si quieres extraer contexto con IA después del crawling. Si lo activas, el contenido se envía a un modelo que produce un texto optimizado para el chatbot.
Uso o no de IA para mejorar el contexto
Si “Extraer contexto con IA” está activo, el sistema usa esa versión mejorada como fuente para el RAG cuando tú lo eliges. Si no usas IA, se usa directamente una de las versiones generadas del HTML (markdown, etc.) según la opción de contenido que hayas seleccionado.
Fuente de contenido por página
No se trata de elegir elementos HTML concretos con un selector, sino de elegir la fuente de contenido que se usará para esa página (o para la extracción con IA). Opciones típicas: solo texto, texto + enlaces, texto + imágenes, texto + enlaces + imágenes, o HTML “a la medida”.
Esta elección se hace en el dashboard al configurar la extracción de una página o la extracción con IA de un contexto. Así decides qué parte del contenido (texto, links, imágenes) entra al contexto y al RAG.
Contexto desde API
Además del crawling, puedes importar JSON desde una API REST de tu negocio (catálogos, artículos, etc.) con sincronización programada y aviso cuando cambien los datos. Ver la guía Contexto desde API.
De contexto a embeddings
Una vez que tienes contextos creados, EasyChatBot los envía al servicio de RAG para:
- Partir el contenido en fragmentos manejables.
- Generar un embedding para cada fragmento (una representación numérica de su significado).
- Guardar esos embeddings en la base de conocimiento del bot, indexados para búsqueda semántica.
Cuando una intención dispara una acción de RAG Search, el mensaje del usuario también se convierte en embedding y se busca por similitud semántica en esa colección. Así se recuperan los fragmentos más relevantes para construir la respuesta.
