Du kannst doch einfach mittels PHP den Referer auslesen...
Code:
$referer = $_SERVER['HTTP_REFERER'];
//Tante Edith: Das ganze wäre natürlich nicht unmittelbar unumgänglich, da man die gesendeten Referer des Browsers manipulieren kann.
Aber wenn es wirklich nur darum geht, User, die von fremden Seiten kommen, davon abzuhalten, für eine Seite zu voten, von der sie eben nicht kommen, dann würdest du so schon mal viele ungültige Stimmen rausfiltern.