| |
| Acadêmico(a): Tiago Roberto Fischer |
| Título: Implementação de um Crawler Incremental Distribuído: um Sistema de Busca na Web |
| |
| Conclusão: |
| O objetivo inicial de implementar um sistema de busca utilizando o MYSQL como banco de dados foi alcançado. O crawler e todos os seus elementos necessários, juntamente com a interface para a pesquisa, foram construídos e foi possível executar a busca de uma grande quantidade de páginas com um tempo de resposta bastante aceitável. Foram analisadas e indexadas centenas de milhares de páginas brasileiras (domínio .br), bem como o trabalho de mantê-las atualizadas de forma incremental. Foi possível também manter uma relação completa entre todos os links, para utilização do ranking. A utilização do MYSQL se tornou bastante satisfatória, atendendo as expectativas de velocidade e fornecendo as ferramentas necessárias para criação de um sistema de busca. O que tornou a implementação mais rápida, pelo fato de se poupar o trabalho de programação de itens essências para o armazenamento e a busca, como o armazenamento seqüencial de dados e o índice invertido. A criação deste sistema foi um desafio bastante gratificante, pelo fato de possibilitar um maior entendimento do funcionamento de pesquisas em grandes bases de dados e de suas peculiaridades. Foi também possível adquirir vários novos conhecimentos sobre o funcionamento da web na internet, suas linguagens e forma de organização. A principal contribuição deste trabalho foi mostrar o funcionamento completo de um sistema de busca, do início ao fim, fornecendo detalhes dos seus elementos e das ferramentas necessárias para se tornar viável tal projeto. Este trabalho desenvolvido é uma introdução e ao mesmo tempo um exemplo completo das ferramentas necessárias para se construir um sistema de busca na web. |
| |
|
