123
Gigablast

Gigablast

¡Gigablast es un motor de búsqueda potente, de código abierto y nuevo que realiza indexación en tiempo real! Características Escalable a miles de servidores.
¡Gigablast es un motor de búsqueda potente, de código abierto y nuevo que realiza indexación en tiempo real!Características escalables a miles de servidores.Se ha ampliado a más de 12 mil millones de páginas web en más de 200 servidores.Un doble núcleo cuádruple, con 32 GB de RAM y dos SSD Intel de 160 GB, que ejecutan 8 instancias de Gigablast, pueden hacer aproximadamente 8 qps (consultas por segundo) en un índice de 10 millones de páginas.Las unidades estarán cerca de la capacidad máxima de almacenamiento.Duplicar el tamaño del índice reducirá más o menos a la mitad la tasa de qps.(Las métricas de rendimiento se pueden hacer aproximadamente diez veces más rápido, pero aún no lo he logrado. El uso del espacio en disco probablemente seguirá siendo el mismo porque ya es bastante eficiente). 1 millón de páginas web requieren 28,6 GB de espacio en disco.Eso incluye el índice, la metainformación y el HTML comprimido de todas las páginas web.La tasa de araña es de aproximadamente 1 página por segundo por núcleo.Por lo tanto, un doble núcleo cuádruple puede arañar e indexar 8 páginas por segundo, lo que equivale a 691.200 páginas por día.Se requieren 4 GB de RAM por instancia de Gigablast.(instancia = proceso) Demostración en vivo en Escrito en C / C ++ para un rendimiento óptimo.Más de 500,000 líneas de C / C ++.100% personalizado.Un solo binario.El servidor web, la base de datos y todo lo demás está contenido en este código fuente de una manera altamente eficiente.Facilita la administración y la resolución de problemas.De confianza.Se ha probado en producción en vivo desde 2002 en miles de millones de consultas en un índice de más de 12 mil millones de páginas web únicas, 24 mil millones reflejadas.Súper rápido y eficiente.Uno de los pocos motores de búsqueda que han alcanzado números tan grandes.El único motor de búsqueda de código abierto que tiene.Soporta todos los idiomas.Puede dar resultados en idiomas específicos un impulso sobre otros en el momento de la consulta.Utiliza la representación UTF-8 internamente.Audio grabado.Ha sido utilizado por muchos clientes.Se ha utilizado con éxito en software empresarial distribuido.Páginas web en caché con resaltado de término de consulta ...

Categorias

Alternativas a Gigablast para Web con licencia de código abierto