Gebroken links detector

Gebroken links in toekomst wellicht verleden tijd.

Door: Petra van Driel

02-11-2004 - Een link is een verwijzing naar een document op het internet. Als zo'n link niet oplevert wat je ervan verwacht (404 not found) spreken we van een 'gebroken link'.

Studenten hebben een stukje software ontwikkeld, waardoor gebroken links in de toekomst weleens tot het verleden zouden kunnen behoren.

Het programma 'Peridot' is ontwikkeld door Britse studenten die een interne opleiding volgen bij IBM. Peridot scant bedrijfs weblinks en vervangt verouderde informatie door andere relevante documenten en links.

Het programma werkt door middel van het automatisch in kaart brengen en opslaan van de belangrijkste kenmerken van websites, waardoor het significante veranderingen aan de inhoud kan detecteren.

De studenten denken dat Peridot bedrijven zou kunnen beschermen door links te detecteren naar sites die zijn verwijderd of die verwijzen naar totaal niet relevante inhoud.

"Peridot zou kunnen leiden naar een wereld waar geen gebroken links meer zijn," vertelt James Bell, informatica student aan de universiteit van Warwick.
"Mijn hoop is, dat het verder ontwikkeld zal worden tot een niveau waarop het dat inderdaad zal doen."

Peridot maakt webmasters er niet alleen op attent welke links gebroken links zijn geworden, het laat ook weten waar de originele pagina is gebleven. Het kan ook vertellen welke links zijn veranderd en de mate van verandering in de inhoud.

Momenteel, zo vertellen de studenten, vraagt het beoordelen en onderhouden van websites om handwerk. Webmasters moeten telkens alle links nalopen op een intranet (interne website), of externe website om te checken of de informatie waarnaar gelinkt wordt nog relevant is.

Bell vertelt dat Peridot een op het web gebaseerd stukje software is. Het registreert pagina's die het vindt op een intranet of op een externe website.
Vervolgens volgt het de links, om ze te vergelijken met reeds eerder bezochte pagina's.

"De manier waarop we de inhoud identificeren verloopt via een proces van zogeheten 'fingerprinting', dat ons in staat stelt zoiets als een vingerafdruk van een document te maken," legt Andrew Flegg uit. Hij is IBM software ontwikkelaar en technisch mentor voor het Peridot team.

"Wanneer het gaat om intranet sites, waarvan veel bedrijven erop vertrouwen dat ze niet alleen de medewerkers goed geïnformeerd houden, maar ook verwijzen naar belangrijke bedrijfsdocumenten, kunnen gedateerde links resulteren in productiviteitsverlies voor de medewerkers, die er gebruik van moeten maken," zegt Bell.

Intern heb je gebruikers die proberen hun werk te doen, en het intranet is er om hen daarbij van dienst te zijn. Als ze hun informatie niet krijgen, kunnen ze hun werk niet goed doen. Als het gaat om externe links, zijn er gevallen waarin bedrijven linken naar informatie die hun reputatie zou kunnen schaden.

Dit gebeurt wanneer een website, die tevoren gecheckte informatie bevatte, van eigenaar veranderd, of wanneer de inhoud ervan wordt bijgewerkt met ongeschikt materiaal. Dit is een buitengewoon gevoelig probleem als de firma zichzelf neerzet als een geloofwaardig en betrouwbaar bedrijf.

Het team, dat werkt aan IBM's 'Extreme Blue internship program', in zijn Britse laboratoria in Hursley, heeft al twee patenten aangevraagd voor het project.
Soortgelijke software bestaat namelijk al, maar deze programma's lijken enkel de gebroken links te detecteren.

Het vernieuwende aan Peridot is volgens de onderzoekers, dat het meer substantiële veranderingen detecteert en dat het instelbare niveaus van zelfwerkzaamheid kent.

Het genereert een rapport over een website en het kan automatisch een e-mail aan de webmaster verzenden met daarin de benodigde informatie.

De webmaster kan de veranderingen bekijken en ze accepteren dan wel negeren, of hij kan gewoon vertrouwen op de kennelijke accuratesse van de software en ervoor kiezen gewaarschuwd te worden nadat een link automatisch is bijgewerkt.

Het team heeft een prototype van de software gemaakt, zodat deze nu betrouwbaar draait op 100,000 pagina's, zo vertelt Bell.

Tot nu toe heeft het programma nog nooit een link vervangen door iets anders dat even ongeschikt is, maar er moet nog gewerkt worden om de prestaties ervan te optimaliseren, volgens het studententeam.

Het Peridot team heeft haar onderzoek vorige maand in Amsterdam gepresenteerd aan ingenieurs en de top van het bedrijfsleven, samen met andere interne onderzoeksteams uit vijf verschillende landen.

Peridot is een groene camee, of edelsteen, die, zo wil de legende, in de klassieke oudheid werd gebruikt om mensen te helpen datgene terug te vinden wat ze hadden verloren. Ook werden aan deze steen mystieke krachten toegeschreven. Zo zou hij behulpzaam kunnen zijn bij het laten uitkomen van dromen. Maar ook was hij een brenger van rijkdom, bracht hij mensen tot rede en verdreef gevoelens van negativiteit.

Bron: ComScore Networks

Uit: BlinfoMail november 2004
Website: BlinfoTec