peter

Darf ich vorstellen: peter - Ein Keyword-Research-Tool mit Node.js

Autor:
Kategorie: Development

Ich bin ja quasi noch Anfänger in Sachen Node.js. Neulich stieß ich über einen Artikel über Data Mining im Smashing Magazine. Das dortige Beispiel brachte mich auf die Idee, daraus eine vollständige Applikation zu entwickeln und dabei mehr Node.js-Erfahrung aufzubauen.

Der Artikel beschreibt ein kleines Tool, welches einen Request mit definierbaren Suchwörtern zur Google-Suche absetzt. Aus der Ergebnisseite liest die Applikation dann die URL's der Top-Ergebnisse aus. Diese URL's werden wiederum abgeholt und analysiert. Das Resultat ist eine Liste mit Wörtern, die nach kummulierter Anzahl über alle Daten sortiert sind.

Den ursprünglichen Artikel namens "Web Scraping With Node.js" könnt ihr übrigens hier finden

Ich möchte gerne dieses Konzept verwenden, um als kleines Lernprojekt nach und nach eine benutzerfreundliche Applikation daraus zu entwickeln. In den nächsten Tagen werde ich ein GitHub-Projekt aufsetzen und mit der Entwicklung anfangen. Ich werde versuchen, hier ein wenig meine Gedanken während der Entwicklung zu notieren, eine Art "Developer Diary"...

Den Code werde ich mit CC0 lizenzieren. Interessierte dürfen gerne forken und mit- oder weiterentwickeln.

Roadmap

Hier mal kurz eine ganz grobe Roadmap die später erweitert und verfeinert wird, damit ihr euch ein Bild machen könnt:

  • v0.1:
    - grobe Projektstruktur
    - funktionsfähige Eigeninterpretation des Codes aus dem Artikel
    - einfaches Filtern der Ergebnisse duch Stoppwörter-Listen
    - Aufruf und Ausgabe auf der Konsole
  • v0.2:
    - Web-Oberfläche mit express, angular und bootstrap
  • v0.3:
    - Einführung der Google Custom Search Engine als Alternative zum Scraping
    - Mehr Filter/Facetten für eine genauere Suche

Zukunft

Mal sehen wie es danach weiter geht. Interessant wäre zum Beispiel eine Wörterbuch-Suche (wenn sich jemand damit auskennt und Tipps hat, darf er/sie sich gerne melden). Das könnte sehr rechenintensiv werden, was uns dann vielleicht zur Einführung von Workern und Queues drängt, Stichwort Messaging.
Irgendwas mit elasticsearch und Visualisierung? Ich bin gespannt, wie weit man das Thema treiben kann, innerhalb und außerhalb der Node.js-Welt

Aber um mal wieder auf den Boden der Tatsachen zu kommen: bis es so weit ist, habe ich noch einiges vor und muss viel lernen. I'm thrilled :)

Was haltet ihr von dieser Idee als Lernprojekt und habt ihr Vorschläge oder Anregungen? Immer her damit!

Artikelreihe

Dieser Artikel ist Teil einer Reihe. Hier findest du die zugehörigen Artikel:

  1. Darf ich vorstellen: peter - Ein Keyword-Research-Tool mit Node.js
  2. peter: GitHub-Repo und Gedanken zum Scraping
  3. proof-of-peter: Das grundlegende Verhalten steht

Artikel bewerten

4.5 6 5

Kommentare

comments powered by Disqus
Top