Auslesen von We(tt)bseiten

Averlance · 27.02.12, 16:32

Hallo,

ich möchte mir gerne ein Programm schreiben, welches von verschiedenen Wettseiten die Quoten für verschiedene Wetten ausliest und mir dann die Seite mit der höchsten Quote auswirft. Davon abgesehen, dass ich nicht der beste Programmierer bin und ich noch einiges aufzuholen und aufzufrischen habe, da ich schon länger nichts mehr in dem Bereich gemacht habe, stellt sich mir die Frage wie man die Quoten ausliest. Geht das überhaupt ohne direkten Zugriff auf die Datenbank zu haben? Ich meine es gibt ja Seiten wie z.B. wettportal.com. Die lesen das ja auch automatisch aus. Also müsste es ja schon möglich sein.

Obwohl ich quasi ein Anfänger (mit meinen sehr bescheidenen Kenntnisse in C kann ich wohl kaum trumpfen) bin, bitte ich euch nicht zu schreiben, lern erstmal richtig X oder Y. Mir ist bewusst, dass ich viel zu lesen und zu üben habe, aber die Zeit ist nunmal gerade vorhanden und auch wenn ich es ein halbes Jahr oder länger dauert sowas zu schreiben, bin ich optimistisch, dass ich es irgendwann hinbekomme. Vorrangig interessiert mich nun erstmal, wie man solche Daten ausliest und am besten in eine externe Datei speichert. Auch interessieren würde mich, mit was ihr so etwas überhaupt schreiben würdet.

Thx im Vorraus für eure Hilfe,

av1

HagenTronje · 27.02.12, 17:49

Rein Theoretischer Lösungsansatz, ich hab keine Ahnung inwiefern das programmiertechnisch umsetzbar ist.
-Aber die Seite mittels Iframe/php include in deine seite einbinden(versteckt)
-Javs*****, mittels id/name des tags indem die Wettquote angezeigt wird den inhalt auslesen.

Averlance · 28.02.12, 13:46

Zitat:

Zitat von HababaX

Ohne Genehmigung illegal...somit verweise ich dich mal auf die Forenregeln

auf bWin kann ich z.B. weder in den Nutzungsbedingungen noch in den AGB ein Verweis darauf finden, dass dies illegal sein soll. Vielleicht habe ich es überlesen, deshalb bitte ich dich darum, mir zu sagen wo das steht, bzw. stehen soll.

@Kanu, danke, das hört sich vielversprechend an, und ich werde mich mal in die Materie einlesen

HagenTronje · 28.02.12, 14:01

Zitat:

Zitat von Averlance

auf bWin kann ich z.B. weder in den Nutzungsbedingungen noch in den AGB ein Verweis darauf finden, dass dies illegal sein soll. Vielleicht habe ich es überlesen, deshalb bitte ich dich darum, mir zu sagen wo das steht, bzw. stehen soll.

Datenschutzgesetze, Urheberrecht, ...?

Mr_Braun · 28.02.12, 14:07

Zitat:

Zitat von HababaX

Ohne Genehmigung illegal...somit verweise ich dich mal auf die Forenregeln

Das ist nett, dass du dies tust. Aber überlasse das mir einfach mal. In der beschriebenen Form, sehe ich kein Problem. Problematisch wird es, wenn er versucht die Datenbank hierfür zu hacken.

Ohne entsprechende API/Schnittstelle zu dieser, wird der TE Schwierigkeiten haben, die Daten entsprechend adäquat nutzen zu können.

Averlance · 28.02.12, 15:25

Zitat:

Zitat von HagenTronje

Datenschutzgesetze, Urheberrecht, ...?

Ich möchte ja nicht unhöflich erscheinen, aber...

hast du dir überhaupt im geringsten Gedanken darüber gemacht, was du da geschrieben hast?

Wenn ich im Schuhladen ein paar Nike Schuhe kaufe muss ich also sobald ich damit aus dem Laden gehe das Nikezeichen abkratzen, da ich sonst deren Urheberrecht verletze?
Wenn ich mir eine Exceltabelle mache, und darin alle Spiele der Bundesliga aufschreibe, darf mich die DFL verklagen, weil ich gegen Datenschutzgesetze verstoße?
Zum den drei Punkten kann ich leider kein Beispiel liefern, ich hoffe du verzeihst mir das.

Ne, aber nun mal im Ernst:

Wo bitte verstoße ich gegen Datenschutzgesetze wenn ich öffentlich zugängliche Daten für mich abspeicher? Selbige frage gilt auch für das Urheberrecht. Ich verletze doch kein Urheberrecht, wenn ich frei zugängliche Daten aufzeichne. Das ist doch wie, wenn in der Zeitung ein Artikel steht der dich interessiert und den du deshalb ausschneidest und irgendwo abheftest.

Wie Mr_Braun sagt, wenn ich irgendwie was hacken wollen würde, wäre das 100% nicht legal, aber ich habe ja gefragt

Zitat:

Zitat von Averlance

"Geht das überhaupt ohne direkten Zugriff auf die Datenbank zu haben?"

woraus eigentlich ersichtlich sein sollte, dass ich nicht vor hatte mich irgendwo reinzuhacken. Davon abgesehen, sollte ja auch klar sien, dass wenn ich noch nichtmal einen Plan habe wie man Daten online auslesen kann, ich garantiert auch nicht hacken kann. Und sollte ich es dennoch können, bräuchte ich ja nichtmehr die Daten auslesen und irgendwo speichern sondern könnte ganz einfach die Quote eines sicheren Spieles nach obenhin abändern (lol). Nicht zu vergessen, dass ich meine Schlafsachen für das stille Kämmerchen mit den tollen Gittern schonmal packen könnte.

Eine API müsste von dem jeweiligen Betreiber zur Verfügung gestellt werden, habe ich das richtig verstanden?

Zu Webrequest muss ich erstmal einen guten Artikel finden, komme aber sicherlich später dann nochmal darauf zurück, sobald ich Fragen dazu habe.

Vielen Dank soweit schonmal,

av1

P.S. merke gerade, dass das Nike Beispiel garnicht analog zum vorhandenen Problem ist. Da ich mit meinen Nike Schuhen ja auch draußen unterwegs bin. Du kannst dir aber ein analoges Beispiel vorstellen, mit der Bedingung, dass ich mit dem jeweiligen Gegenstand nicht in der Öffentlichkeit unterwegs bin.

HagenTronje · 28.02.12, 18:06

Wenn du die Daten nur ausließt, is es auch nicht illegal!
Du hast aber vor, sie auf deiner Website zu veröffentlichen und das ist nach österreichischem Recht strafbar. ich nehme an, das es in D so ähnlich sein wird.

HagenTronje · 28.02.12, 19:30

Dos-attacke oder was?

kkhamburg · 28.02.12, 21:19

Mit PHP und curl oder fopen ist es kein grosses Problem Webseiten auszulesen.

Den ermittelten Inhalt musst du dann nur noch parsen und die gewünschten Stellen in Variablen schreiben.

Die Diskussion zu Recht oder Unrecht an dieser Stelle kann ich nicht nachvollziehen.
Hier geht es darum mit legalen Mitteln legale Inhalte aus einer öffentlichen Webseite zu holen.

Der Vergleich zu SPAM-Mails hinkt, weil die mit einer Belästigung der Empfänger verbunden sind.
Eine Belästigung Dritter ist hier nicht gegeben.

Der Vergleich mit Marions Kochbuch ist ebenfalls falsch weil es in dem Urteil um Copyright-Verletzungen bei Benutzung von Fotos ging.

Averlance · 28.02.12, 21:26

Zitat:

Zitat von HagenTronje

Du hast aber vor, sie auf deiner Website zu veröffentlichen

Wo zum Teufel steht was davon, dass ich eine eigene Webseite habe, oder auch nur im entferntesten dabei bin eine zu erstellen? NIRGENDS.

Zitat:

Zitat von KanuKkidz

@Averlance...wenn du eine Seite hackst, würdest Du dem Richter auch sagen, dass in den Benutzerbestimmungen nicht stand, dass es verboten ist?

Das ich eine eigene, öffentliche Webseite machen will ist eine Unterstellung eurerseits. Ich habe weder irgendwo geschrieben, dass ich das vor habe noch habe ich es tatsächlich vor. Wieso denn auch, sehe ich nicht ein, dass sich andere mit meiner Arbeit bereichern. Also haltet euch einfach aus meinem Thread raus, wenn ihr, weil ihr es offensichtlich nicht könnt, nichts zum Thema beizutragen habt. Und unterstellt mir nicht weiterhin irgendwelche Sachen die nicht den Tatsachen entsprechen!

P.S. Ach wisst ihr was? Fragt mich halt in einem Jahr ob ich es hinbekommen habe, und falls ich es geschafft habe, dann zeigt mich doch einfach an. Bin bereits jetzt gespannt was passiert.

Mr_Braun · 29.02.12, 14:41

Und jetzt spart sich jeder weitere Offtopic-Kommentare. Es geht dem TE lediglich um technische Realisierungsmöglichkeiten. Hinweise auf angebliche "Urheberrechtsverletzungen", ob nun zu Recht oder nicht, sind zwar nett, aber weiterhin unnötig. Eine Sensibilisierung von Urheberrecht sollte in einem Warezforum von jedem selbst vorhanden sein.

weberleins · 05.03.12, 03:03

Ich würd die Daten mit Wget runterziehen und dann mit PHP entsprechend zusammenfügen/berabeiten/ausgeben. Im Prinzip keine große Sache.

Sry @Mr_Braun das ich zu dem ganzen Thema "Urheberrecht" auch noch was sagen will, falls es extrem stört bitte den Teil hier einfach rauslöschen.
Natürlich darfst/kannst Du das für Dich machen, da kann niemand was dagegen haben. Probiere vielleicht nur nicht an den original-Seiten als erstes herum. Falsch gemacht könntest Du dort nämlich schon Spuren hinterlassen die komisch wirken und entsprechenden Ärger nach sich ziehen würden. Wie das dann ausgeht ist eine Frage von Glauben (was glaubt der Richter...). Solange Du die Daten nicht 3ten zur Verfügung stellst, keinen übermäßigen Traffic auf den Anbieterseiten produzierst etc. ist das absolut legal.

Kleiner Tipp am Rande wie es vielleicht noch leichter geht: viele Wettseitenanbieter haben auch Affiliate-Programme. Dort bekommst Du die Quoten dann z.T. sogar direkt als CSV/XLM-Datei frei Haus geliefert...