enable memory cache
[electrum-server.git] / server.py
index bb939f5..69bf27d 100755 (executable)
--- a/server.py
+++ b/server.py
@@ -19,6 +19,7 @@
 Todo:
    * server should check and return bitcoind status..
    * improve txpoint sorting
+   * command to check cache
 """
 
 
@@ -39,6 +40,9 @@ config.set('server','banner', 'Welcome to Electrum!')
 config.set('server', 'host', 'ecdsa.org')
 config.set('server', 'port', 50000)
 config.set('server', 'password', '')
+config.set('server', 'irc', 'yes')
+config.set('server', 'cache', 'yes') 
+config.set('server', 'ircname', 'Electrum server')
 config.add_section('database')
 config.set('database', 'type', 'psycopg2')
 config.set('database', 'database', 'abe')
@@ -48,7 +52,7 @@ try:
     config.readfp(f)
     f.close()
 except:
-    print "Could not read electrum.conf. I will use the dafault values."
+    print "Could not read electrum.conf. I will use the default values."
 
 stopping = False
 block_number = -1
@@ -58,19 +62,41 @@ dblock = thread.allocate_lock()
 
 peer_list = {}
 
+
+
 class MyStore(Datastore_class):
 
-    def safe_sql(self,sql, params=()):
+    def import_tx(self, tx, is_coinbase):
+        tx_id = super(MyStore, self).import_tx(tx, is_coinbase)
+        if config.get('server', 'cache') == 'yes': self.update_tx_cache(tx_id)
+
+    def update_tx_cache(self, txid):
+        inrows = self.get_tx_inputs(txid, False)
+        for row in inrows:
+            _hash = store.binout(row[6])
+            address = hash_to_address(chr(0), _hash)
+            if self.tx_cache.has_key(address):
+                #print "cache: popping", address, self.ismempool
+                self.tx_cache.pop(address)
+        outrows = self.get_tx_outputs(txid, False)
+        for row in outrows:
+            _hash = store.binout(row[6])
+            address = hash_to_address(chr(0), _hash)
+            if self.tx_cache.has_key(address):
+                #print "cache: popping", address, self.ismempool
+                self.tx_cache.pop(address)
+
+    def safe_sql(self,sql, params=(), lock=True):
         try:
-            dblock.acquire()
+            if lock: dblock.acquire()
             ret = self.selectall(sql,params)
-            dblock.release()
+            if lock: dblock.release()
             return ret
         except:
             print "sql error", sql
             return []
 
-    def get_tx_outputs(self, tx_id):
+    def get_tx_outputs(self, tx_id, lock=True):
         return self.safe_sql("""SELECT
                 txout.txout_pos,
                 txout.txout_scriptPubKey,
@@ -85,9 +111,9 @@ class MyStore(Datastore_class):
               LEFT JOIN tx nexttx ON (txin.tx_id = nexttx.tx_id)
              WHERE txout.tx_id = %d 
              ORDER BY txout.txout_pos
-        """%(tx_id))
+        """%(tx_id), (), lock)
 
-    def get_tx_inputs(self, tx_id):
+    def get_tx_inputs(self, tx_id, lock=True):
         return self.safe_sql(""" SELECT
                 txin.txin_pos,
                 txin.txin_scriptSig,
@@ -103,7 +129,7 @@ class MyStore(Datastore_class):
               LEFT JOIN unlinked_txin u ON (u.txin_id = txin.txin_id)
              WHERE txin.tx_id = %d
              ORDER BY txin.txin_pos
-             """%(tx_id,))
+             """%(tx_id,), (), lock)
 
     def get_address_out_rows(self, dbhash):
         return self.safe_sql(""" SELECT
@@ -172,6 +198,12 @@ class MyStore(Datastore_class):
              WHERE pubkey.pubkey_hash = ? """, (dbhash,))
 
     def get_txpoints(self, addr):
+        
+        if config.get('server','cache') == 'yes':
+            cached_version = self.tx_cache.get( addr ) 
+            if cached_version is not None: 
+                return cached_version
+
         version, binaddr = decode_check_address(addr)
         if binaddr is None:
             return "err"
@@ -221,7 +253,7 @@ class MyStore(Datastore_class):
             #print "mempool", tx_hash
             txpoint = {
                     "nTime":    0,
-                    "chain_id": 1,
+                    #"chain_id": 1,
                     "height":   0,
                     "is_in":    int(is_in),
                     "blk_hash": 'mempool',
@@ -264,12 +296,15 @@ class MyStore(Datastore_class):
                 if row:
                     if not row[4]: txpoint['raw_scriptPubKey'] = row[1]
 
-
+        # cache result
+        if config.get('server','cache') == 'yes':
+            self.tx_cache[addr] = txpoints
+        
         return txpoints
 
 
     def get_status(self, addr):
-        # last block for an address
+        # last block for an address.
         tx_points = self.get_txpoints(addr)
         if not tx_points:
             return None
@@ -358,9 +393,8 @@ def client_thread(ipaddr,conn):
 
         elif cmd == 'h': 
             # history
-            addr = data
-            h = store.get_txpoints( addr )
-            out = repr(h)
+            address = data
+            out = repr( store.get_txpoints( address ) )
 
         elif cmd == 'load': 
             if config.get('server','password') == data:
@@ -399,26 +433,29 @@ def client_thread(ipaddr,conn):
 ds = BCDataStream.BCDataStream()
 
 
-def memorypool_update(store):
 
+
+def memorypool_update(store):
     conn = bitcoinrpc.connect_to_local()
     try:
         v = conn.getmemorypool()
     except:
-        print "cannot contact bitcoin daemmon"
+        print "cannot contact bitcoin daemon"
         return
     v = v['transactions']
     for hextx in v:
         ds.clear()
         ds.write(hextx.decode('hex'))
         tx = deserialize.parse_Transaction(ds)
+        #print "new tx",tx
+
         tx['hash'] = util.double_sha256(tx['tx'])
             
         if store.tx_find_id_and_value(tx):
             pass
         else:
             store.import_tx(tx, False)
-            #print tx['hash'][::-1].encode('hex')
+
     store.commit()
 
 
@@ -442,39 +479,38 @@ def irc_thread():
         try:
             s = socket.socket()
             s.connect(('irc.freenode.net', 6667))
-            s.send('USER '+config.get('server','host')+' '+NICK+' bla :'+NICK+'\n') 
+            s.send('USER electrum 0 * :'+config.get('server','host')+' '+config.get('server','ircname')+'\n')
             s.send('NICK '+NICK+'\n')
             s.send('JOIN #electrum\n')
+            sf = s.makefile('r', 0)
             t = 0
             while not stopping:
-                line = s.recv(2048)
+                line = sf.readline()
                 line = line.rstrip('\r\n')
                 line = line.split()
                 if line[0]=='PING': 
                     s.send('PONG '+line[1]+'\n')
                 elif '353' in line: # answer to /names
                     k = line.index('353')
-                    try:
-                        k2 = line.index('366')
-                    except:
-                        continue
-                    for item in line[k+1:k2]:
+                    for item in line[k+1:]:
                         if item[0:2] == 'E_':
-                            s.send('USERHOST %s\n'%item)
-                elif '302' in line: # answer to /userhost
-                    k = line.index('302')
-                    m = re.match( "^:(.*?)=\+~(.*?)@(.*?)$", line[k+2] )
-                    if m:
-                        name = m.group(1)
-                        host = m.group(2)
-                        ip = m.group(3)
-                        peer_list[name] = (ip,host)
+                            s.send('WHO %s\n'%item)
+                elif '352' in line: # answer to /who
+                   # warning: this is a horrible hack which apparently works
+                   k = line.index('352')
+                    ip = line[k+4]
+                    ip = socket.gethostbyname(ip)
+                    name = line[k+6]
+                    host = line[k+9]
+                    peer_list[name] = (ip,host)
                 elif time.time() - t > 5*60:
                     s.send('NAMES #electrum\n')
                     t = time.time()
+                    peer_list = {}
         except:
             traceback.print_exc(file=sys.stdout)
         finally:
+           sf.close()
             s.close()
 
 
@@ -509,18 +545,28 @@ if __name__ == '__main__':
     conf = DataStore.CONFIG_DEFAULTS
     args, argv = readconf.parse_argv( [], conf)
     args.dbtype= config.get('database','type')
-    args.connect_args = {'database' : config.get('database','database') }
+    if args.dbtype == 'sqlite3':
+       args.connect_args = { 'database' : config.get('database','database') }
+    elif args.dbtype == 'MySQLdb':
+       args.connect_args = { 'db' : config.get('database','database'), 'user' : config.get('database','username'), 'passwd' : config.get('database','password') }
+    elif args.dbtype == 'psycopg2':
+       args.connect_args = { 'database' : config.get('database','database') }
     store = MyStore(args)
+    store.tx_cache = {}
+    store.ismempool = False
 
     thread.start_new_thread(listen_thread, (store,))
     thread.start_new_thread(clean_session_thread, ())
-    thread.start_new_thread(irc_thread, ())
+    if (config.get('server','irc') == 'yes' ):
+       thread.start_new_thread(irc_thread, ())
 
     while not stopping:
         try:
             dblock.acquire()
             store.catch_up()
+            store.ismempool = True
             memorypool_update(store)
+            store.ismempool = False
             block_number = store.get_block_number(1)
             dblock.release()
         except: