Data herkennen, verzamelen en analyseren met PHP?

Overzicht Reageren

Sponsored by: Vacatures door Monsterboard

Marcos Dukru

Marcos Dukru

27/12/2014 22:41:45
Quote Anchor link
Beste Members,

Ik als voetbalfan volg al tijden de concurrentie tussen de twee grootste voetballers op dit moment. Nu zijn de meningen daarover sterk over verdeeld en vraag ik mij af in hoeverre die meningen beïnvloed kunnen worden door wat wij voorgeschoteld krijgen door de media. Ik vroeg mij af in hoeverre het mogelijk is om met software de verschillende nieuwsbronnen te lezen en aan de hand van het herkennen/selecteren van trefwoorden een analyse te maken van hoe positief en/of negatief er over de spelers word geschreven. Een vriend adviseerde mij om mij te verdiepen in PHP gezien dit veel word gebruikt om data van verschillende bronnen te verzamelen. Ik ben inmiddels begonnen met het leren van de basis en hoewel ik het zeer leerzaam vind tot nu toe vraag ik mij wel af in hoeverre het mogelijk is om een dergelijk programma te schrijven.

Het zou in principe als volgt moeten werken: Zodra het programma het web afspeurt en de namen Lionel Messi en Cristiano Ronaldo tegenkomt, moet het bericht gescreend worden op (vooraf ingevoerde) trefwoorden. Vervolgens moeten die gegevens verder verwerkt worden.

Zijn de mogelijkheden van programmeren echt eindeloos en is mijn projectje goed te realiseren?
Zijn jullie bekend met een dergelijk programma?
Wat zijn mogelijke problemen waar ik tegenaan zou kunnen lopen?

Wees gerust kritisch! Ik hoor graag van jullie.

Gr.
 
PHP hulp

PHP hulp

26/04/2024 22:11:18
 
Ivo P

Ivo P

27/12/2014 23:02:02
Quote Anchor link
lijkt me een leuk project als stage of afstudeerwerk van een of andere wetenschappelijke opleiding.

Het belangrijkste deel daarvan zal bestaan uit het bedenken van het hoe verzamelen, hoe analyseren en hoe waarderen.

Eind van het project zal kunnen bestaan uit het programmeren.
 
John D

John D

28/12/2014 11:39:31
Quote Anchor link
Je moet eerst bedenken hoe het programma het web afspeurt. Bijvoorbeeld een google search op steekwoorden. Dat levert een aantal websites (url's) die je dan specifiek moet gaan filteren en stuk voor stuk opvragen. Grofweg bouw je dan een database met procesgegevens over steekwoorden, gevonden en bezochte websites etc. Later kan je daar wat kunstmatige intelligentie omheen bouwen, opnieuw te bezoeken/onderzoeken en daarnaast een verzameling data die je wil analyseren. Houdt je vooral aan het advies van Ivo: Eind van het project zal kunnen bestaan uit het programmeren. Stap niet in de valkuil van meteen beginnen met scripts schrijven, jarenlang programmeren. Velen doen dat wel en geraken in een enorme spaghetti van programma's en onjuiste datamodellen. Maak eerst een goed ontwerp in bijvoorbeeld UML of wat ouderwetser in functionele decompositie en stroomdiagrammen.
Gewijzigd op 28/12/2014 11:41:40 door John D
 
Marcos Dukru

Marcos Dukru

28/12/2014 15:58:27
Quote Anchor link
Bedankt voor de reacties en adviezen! Het lijkt me inderdaad handiger om eerst tot in de details te bedenken hoe het geheel in zn werk moet gaan.

Een oud docent van mij heeft ooit iets soortgelijks gedaan voor een studie met een zogenaamde webcrawler die twitter analyseerde. Weten jullie wat meer over die spiders/webcrawlers?
 
John D

John D

28/12/2014 16:01:14
Quote Anchor link
Ben er niet mee bekend maar google helpt:
https://www.google.nl/?gws_rd=ssl#q=open+source+web+crawlers
 



Overzicht Reageren

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.