| |
| Acadêmico(a): Tiago Roberto Fischer |
| Título: Implementação de um Crawler Incremental Distribuído: um Sistema de Busca na Web |
| |
| Introdução: |
| O uso da internet como meio de disseminação da informação nos últimos tempos se tornou muito difundido. Atualmente é comum ouvir o comentário: “procure na internet, através de servidor de busca... alguma coisa relacionada irá encontrar”. Isto é o reflexo da evolução dos sistemas de comunicação, armazenamento e recuperação da informação. A rápida evolução e o crescimento da internet têm dificultado cada vez mais para que os mecanismos de busca retornem o resultado esperado pelo usuário. Por esse motivo, os sistemas evoluem para cada vez mais lidar com tal crescimento. São exemplos de sistemas de busca: Yahoo! (YAHOO!, 2006), Altavista (ALTAVISTA, 2006), Google (GOOGLE, 2006), entre muitos outros. O coração de qualquer sistema de busca é o crawler. O crawler é um robô que busca, armazena e mantém atualizadas páginas na internet, as quais são indexadas em tempo real ou posteriormente. O termo web search se refere à interface que aparece para o usuário. Tal interface provê a comunicação para efetuar a busca de páginas que é feita através de requisições ao crawler. Um crawler não trabalha de forma isolada. Ele é um processo automatizado que se comunica juntamente com outros crawlers existentes no sistema, sendo executado em paralelo, armazenando e processando em vários computadores para poder trabalhar com o grande número de informações que a internet dispõe (ARASU, 2001, p. 1-4). Tendo em vista o crescimento da importância dos sistemas de busca na web, desenvolve-se neste trabalho a implementação de um crawler incremental distribuído que busque e armazene páginas brasileiras da web (com domínio .br) de forma indexada, disponibilizando comunicação entre todos os crawlers e a criação de uma interface (web search) que efetue a busca de informações entre os crawlers de forma transparente. |
| |
|
