tweetcast/server/tweetcast.py
author Raphael Velt <raph.velt@gmail.com>
Mon, 10 Oct 2011 11:54:08 +0200
changeset 307 6872c6aac6d6
parent 306 70c9688a1486
child 309 e26d4354b578
permissions -rwxr-xr-x
Tests de Tweetcast avec GEvent et SQL Alchemy, sans websockets
Ignore whitespace changes - Everywhere: Within whitespace: At end of lines:
305
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
     1
#!/usr/bin/env python
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
     2
# -*- coding: utf-8 -*-
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
     3
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
     4
import anyjson
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
     5
from twisted.enterprise import adbapi
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
     6
from twisted.internet import reactor, task
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
     7
from twisted.internet.protocol import Protocol, Factory
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
     8
from autobahn.websocket import WebSocketServerFactory, WebSocketServerProtocol
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
     9
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    10
connectstring = "dbname='tweet_live' user='postgres' host='localhost' password='doiteshimashite'"
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    11
columns = [ 'id', 'created_at', 'text', 'user_id', 'screen_name' ]
306
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    12
selectcommon = "SELECT tweet_tweet.id, tweet_tweet.created_at, text, user_id, screen_name FROM tweet_tweet JOIN tweet_user ON tweet_tweet.user_id = tweet_user.id"
305
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    13
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    14
dbpool = adbapi.ConnectionPool("psycopg2",connectstring)
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    15
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    16
class TweetCast:
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    17
	
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    18
	def __init__(self):
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    19
		self.lastid = 0L
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    20
		self.serverfactory = TweetcastServerFactory(tweetcast=self)
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    21
		dbpool.runQuery("SELECT MAX(tweet_tweet.id) FROM tweet_tweet").addCallback(self.callbackInit)
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    22
	
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    23
	def callbackInit(self, result):
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    24
		self.lastid = result[0][0]
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    25
		task.LoopingCall(self.scheduleTweets).start(1)
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    26
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    27
	def scheduleTweets(self):
306
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    28
		dbpool.runQuery("%s WHERE tweet_tweet.id > %d ORDER BY tweet_tweet.id ASC"%(selectcommon, self.lastid)).addCallback(self.callbackTweets)
305
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    29
	
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    30
	def callbackTweets(self, result):
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    31
		if result:
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    32
			self.lastid = result[len(result)-1][0]
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    33
			data = [dict((columns[i], str(ligne[i])) for i in range(len(columns))) for ligne in result]
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    34
		else:
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    35
			data = None
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    36
		self.serverfactory.broadcast(anyjson.serialize(data))
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    37
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    38
class TweetcastServerProtocol(WebSocketServerProtocol):
306
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    39
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    40
	def onOpen(self):
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    41
		self.factory.register(self)
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    42
		dbpool.runQuery("%s WHERE tweet_tweet.id <= %d ORDER BY tweet_tweet.id DESC LIMIT 100"%(selectcommon, self.factory.tweetcast.lastid)).addCallback(self.callbackOldTweets)
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    43
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    44
	def callbackOldTweets(self, result):
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    45
		if result:
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    46
			data = [dict((columns[i], str(ligne[i])) for i in range(len(columns))) for ligne in result]
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    47
			data.reverse()
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    48
		else:
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    49
			data = None
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    50
		self.sendMessage(anyjson.serialize(data))
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    51
		print "sending old tweets to new client"
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    52
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    53
	def connectionLost(self, reason):
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    54
		WebSocketServerProtocol.connectionLost(self, reason)
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    55
		self.factory.unregister(self)
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    56
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    57
	def onMessage(self, msg, binary):
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    58
		print "Got message: " + msg
305
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    59
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    60
class TweetcastServerFactory(WebSocketServerFactory):
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    61
 
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    62
   protocol = TweetcastServerProtocol
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    63
 
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    64
   def __init__(self, tweetcast=None):
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    65
      WebSocketServerFactory.__init__(self)
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    66
      self.clients = []
306
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    67
      self.tweetcast = tweetcast
305
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    68
 
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    69
   def register(self, client):
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    70
      if not client in self.clients:
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    71
         print "registered client " + client.peerstr
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    72
         self.clients.append(client)
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    73
 
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    74
   def unregister(self, client):
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    75
      if client in self.clients:
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    76
         print "unregistered client " + client.peerstr
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    77
         self.clients.remove(client)
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    78
 
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    79
   def broadcast(self, msg):
306
70c9688a1486 Ajout de l'envoi des anciens tweets
Raphael Velt <raph.velt@gmail.com>
parents: 305
diff changeset
    80
      print "broadcasting ids up to %d" % self.tweetcast.lastid
305
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    81
      for c in self.clients:
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    82
         print "send to " + c.peerstr
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    83
         c.sendMessage(msg)
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    84
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    85
class FlashPolicySocketProtocol(Protocol):
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    86
    def dataReceived(self, data):
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    87
        self.transport.write("<?xml version=\"1.0\"?><!DOCTYPE cross-domain-policy SYSTEM \"/xml/dtds/cross-domain-policy.dtd\"><cross-domain-policy><site-control permitted-cross-domain-policies=\"master-only\"/><allow-access-from domain=\"*\" to-ports=\"*\" /></cross-domain-policy>\0") 
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    88
 
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    89
class FlashPolicyFactory(Factory):
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    90
    def __init__(self):
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    91
        self.protocol = FlashPolicySocketProtocol;
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    92
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    93
tc = TweetCast()
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    94
reactor.listenTCP(843, FlashPolicyFactory())
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    95
reactor.listenTCP(9000, tc.serverfactory)
436a31d11f1d Ajout du streaming des tweets par WebSocket
Raphael Velt <raph.velt@gmail.com>
parents:
diff changeset
    96
reactor.run()