p2pool/bitcoin/p2p.py

   1 '''
   2 Implementation of Bitcoin's p2p protocol
   3 '''
   4
   5 from __future__ import division
   6
   7 import hashlib
   8 import random
   9 import struct
  10 import time
  11 import zlib
  12
  13 from twisted.internet import defer, protocol, reactor, task
  14 from twisted.python import log
  15
  16 from . import data as bitcoin_data
  17 from p2pool.util import variable, datachunker, deferral
  18
  19 class BaseProtocol(protocol.Protocol):
  20     def connectionMade(self):
  21         self.dataReceived = datachunker.DataChunker(self.dataReceiver())
  22
  23     def dataReceiver(self):
  24         while True:
  25             start = ''
  26             while start != self._prefix:
  27                 start = (start + (yield 1))[-len(self._prefix):]
  28
  29             command = (yield 12).rstrip('\0')
  30             length, = struct.unpack('<I', (yield 4))
  31
  32             if length > self.max_net_payload_length:
  33                 print "length too long"
  34                 continue
  35
  36             if self.use_checksum:
  37                 checksum = yield 4
  38             else:
  39                 checksum = None
  40
  41             compressed_payload = yield length
  42
  43             if self.compress:
  44                 try:
  45                     d = zlib.decompressobj()
  46                     payload = d.decompress(compressed_payload, self.max_payload_length)
  47                     if d.unconsumed_tail:
  48                         print "compressed payload expanded too much"
  49                         continue
  50                     assert not len(payload) > self.max_payload_length
  51                 except:
  52                     print 'FAILURE DECOMPRESSING'
  53                     log.err()
  54                     continue
  55             else:
  56                 if len(compressed_payload) > self.max_payload_length:
  57                     print "compressed payload expanded too much"
  58                     continue
  59                 payload = compressed_payload
  60
  61             if checksum is not None:
  62                 if hashlib.sha256(hashlib.sha256(payload).digest()).digest()[:4] != checksum:
  63                     print 'RECV', command, checksum.encode('hex') if checksum is not None else None, repr(payload.encode('hex')), len(payload)
  64                     print 'INVALID HASH'
  65                     continue
  66
  67             type_ = getattr(self, 'message_' + command, None)
  68             if type_ is None:
  69                 print 'RECV', command, checksum.encode('hex') if checksum is not None else None, repr(payload.encode('hex')), len(payload)
  70                 print 'NO TYPE FOR', repr(command)
  71                 continue
  72
  73             try:
  74                 payload2 = type_.unpack(payload)
  75             except:
  76                 print 'RECV', command, checksum.encode('hex') if checksum is not None else None, repr(payload.encode('hex')), len(payload)
  77                 log.err()
  78                 continue
  79
  80             handler = getattr(self, 'handle_' + command, None)
  81             if handler is None:
  82                 print 'RECV', command, checksum.encode('hex') if checksum is not None else None, repr(payload.encode('hex')), len(payload)
  83                 print 'NO HANDLER FOR', command
  84                 continue
  85
  86             #print 'RECV', command, repr(payload2)[:500]
  87
  88             try:
  89                 handler(**payload2)
  90             except:
  91                 print 'RECV', command, checksum.encode('hex') if checksum is not None else None, repr(payload.encode('hex')), len(payload)
  92                 log.err()
  93                 continue
  94
  95     def sendPacket(self, command, payload2):
  96         if len(command) >= 12:
  97             raise ValueError('command too long')
  98         type_ = getattr(self, 'message_' + command, None)
  99         if type_ is None:
 100             raise ValueError('invalid command')
 101         #print 'SEND', command, repr(payload2)[:500]
 102         payload = type_.pack(payload2)
 103         if len(payload) > self.max_payload_length:
 104             raise ValueError('payload too long')
 105         if self.use_checksum:
 106             checksum = hashlib.sha256(hashlib.sha256(payload).digest()).digest()[:4]
 107         else:
 108             checksum = ''
 109         compressed_payload = zlib.compress(payload) if self.compress else payload
 110         if len(compressed_payload) > self.max_net_payload_length:
 111             raise ValueError('compressed payload too long')
 112         data = self._prefix + struct.pack('<12sI', command, len(compressed_payload)) + checksum + compressed_payload
 113         self.transport.write(data)
 114
 115     def __getattr__(self, attr):
 116         prefix = 'send_'
 117         if attr.startswith(prefix):
 118             command = attr[len(prefix):]
 119             return lambda **payload2: self.sendPacket(command, payload2)
 120         #return protocol.Protocol.__getattr__(self, attr)
 121         raise AttributeError(attr)
 122
 123 class Protocol(BaseProtocol):
 124     def __init__(self, net):
 125         self._prefix = net.BITCOIN_P2P_PREFIX
 126
 127     version = 0
 128
 129     max_payload_length = max_net_payload_length = 1000000
 130
 131     compress = False
 132     @property
 133     def use_checksum(self):
 134         return self.version >= 209
 135
 136
 137     null_order = '\0'*60
 138
 139     def connectionMade(self):
 140         BaseProtocol.connectionMade(self)
 141
 142         self.send_version(
 143             version=32200,
 144             services=1,
 145             time=int(time.time()),
 146             addr_to=dict(
 147                 services=1,
 148                 address=self.transport.getPeer().host,
 149                 port=self.transport.getPeer().port,
 150             ),
 151             addr_from=dict(
 152                 services=1,
 153                 address=self.transport.getHost().host,
 154                 port=self.transport.getHost().port,
 155             ),
 156             nonce=random.randrange(2**64),
 157             sub_version_num='',
 158             start_height=0,
 159         )
 160
 161     message_version = bitcoin_data.ComposedType([
 162         ('version', bitcoin_data.StructType('<I')),
 163         ('services', bitcoin_data.StructType('<Q')),
 164         ('time', bitcoin_data.StructType('<Q')),
 165         ('addr_to', bitcoin_data.address_type),
 166         ('addr_from', bitcoin_data.address_type),
 167         ('nonce', bitcoin_data.StructType('<Q')),
 168         ('sub_version_num', bitcoin_data.VarStrType()),
 169         ('start_height', bitcoin_data.StructType('<I')),
 170     ])
 171     def handle_version(self, version, services, time, addr_to, addr_from, nonce, sub_version_num, start_height):
 172         #print 'VERSION', locals()
 173         self.version_after = version
 174         self.send_verack()
 175
 176     message_verack = bitcoin_data.ComposedType([])
 177     def handle_verack(self):
 178         self.version = self.version_after
 179
 180         self.ready()
 181
 182     def ready(self):
 183         self.check_order = deferral.GenericDeferrer(2**256, lambda id, order: self.send_checkorder(id=id, order=order))
 184         self.submit_order = deferral.GenericDeferrer(2**256, lambda id, order: self.send_submitorder(id=id, order=order))
 185         self.get_block = deferral.ReplyMatcher(lambda hash: self.send_getdata(requests=[dict(type='block', hash=hash)]))
 186         self.get_block_header = deferral.ReplyMatcher(lambda hash: self.send_getheaders(version=1, have=[], last=hash))
 187         self.get_tx = deferral.ReplyMatcher(lambda hash: self.send_getdata(requests=[dict(type='tx', hash=hash)]))
 188
 189         if hasattr(self.factory, 'resetDelay'):
 190             self.factory.resetDelay()
 191         if hasattr(self.factory, 'gotConnection'):
 192             self.factory.gotConnection(self)
 193
 194     message_inv = bitcoin_data.ComposedType([
 195         ('invs', bitcoin_data.ListType(bitcoin_data.ComposedType([
 196             ('type', bitcoin_data.EnumType(bitcoin_data.StructType('<I'), {'tx': 1, 'block': 2})),
 197             ('hash', bitcoin_data.HashType()),
 198         ]))),
 199     ])
 200     def handle_inv(self, invs):
 201         for inv in invs:
 202             if inv['type'] == 'tx':
 203                 self.factory.new_tx.happened(inv['hash'])
 204             elif inv['type'] == 'block':
 205                 self.factory.new_block.happened(inv['hash'])
 206             else:
 207                 print 'Unknown inv type', item
 208
 209     message_getdata = bitcoin_data.ComposedType([
 210         ('requests', bitcoin_data.ListType(bitcoin_data.ComposedType([
 211             ('type', bitcoin_data.EnumType(bitcoin_data.StructType('<I'), {'tx': 1, 'block': 2})),
 212             ('hash', bitcoin_data.HashType()),
 213         ]))),
 214     ])
 215     message_getblocks = bitcoin_data.ComposedType([
 216         ('version', bitcoin_data.StructType('<I')),
 217         ('have', bitcoin_data.ListType(bitcoin_data.HashType())),
 218         ('last', bitcoin_data.PossiblyNone(0, bitcoin_data.HashType())),
 219     ])
 220     message_getheaders = bitcoin_data.ComposedType([
 221         ('version', bitcoin_data.StructType('<I')),
 222         ('have', bitcoin_data.ListType(bitcoin_data.HashType())),
 223         ('last', bitcoin_data.PossiblyNone(0, bitcoin_data.HashType())),
 224     ])
 225     message_getaddr = bitcoin_data.ComposedType([])
 226     message_checkorder = bitcoin_data.ComposedType([
 227         ('id', bitcoin_data.HashType()),
 228         ('order', bitcoin_data.FixedStrType(60)), # XXX
 229     ])
 230     message_submitorder = bitcoin_data.ComposedType([
 231         ('id', bitcoin_data.HashType()),
 232         ('order', bitcoin_data.FixedStrType(60)), # XXX
 233     ])
 234
 235     message_addr = bitcoin_data.ComposedType([
 236         ('addrs', bitcoin_data.ListType(bitcoin_data.ComposedType([
 237             ('timestamp', bitcoin_data.StructType('<I')),
 238             ('address', bitcoin_data.address_type),
 239         ]))),
 240     ])
 241     def handle_addr(self, addrs):
 242         for addr in addrs:
 243             pass
 244
 245     message_tx = bitcoin_data.ComposedType([
 246         ('tx', bitcoin_data.tx_type),
 247     ])
 248     def handle_tx(self, tx):
 249         self.get_tx.got_response(bitcoin_data.tx_type.hash256(tx), tx)
 250
 251     message_block = bitcoin_data.ComposedType([
 252         ('block', bitcoin_data.block_type),
 253     ])
 254     def handle_block(self, block):
 255         block_hash = bitcoin_data.block_header_type.hash256(block['header'])
 256         self.get_block.got_response(block_hash, block)
 257         self.get_block_header.got_response(block_hash, block['header'])
 258
 259     message_headers = bitcoin_data.ComposedType([
 260         ('headers', bitcoin_data.ListType(bitcoin_data.block_type)),
 261     ])
 262     def handle_headers(self, headers):
 263         for header in headers:
 264             header = header['header']
 265             self.get_block_header.got_response(bitcoin_data.block_header_type.hash256(header), header)
 266         self.factory.new_headers.happened([header['header'] for header in headers])
 267
 268     message_reply = bitcoin_data.ComposedType([
 269         ('hash', bitcoin_data.HashType()),
 270         ('reply',  bitcoin_data.EnumType(bitcoin_data.StructType('<I'), {'success': 0, 'failure': 1, 'denied': 2})),
 271         ('script', bitcoin_data.PossiblyNone('', bitcoin_data.VarStrType())),
 272     ])
 273     def handle_reply(self, hash, reply, script):
 274         self.check_order.got_response(hash, dict(reply=reply, script=script))
 275         self.submit_order.got_response(hash, dict(reply=reply, script=script))
 276
 277     message_ping = bitcoin_data.ComposedType([])
 278     def handle_ping(self):
 279         pass
 280
 281     message_alert = bitcoin_data.ComposedType([
 282         ('message', bitcoin_data.VarStrType()),
 283         ('signature', bitcoin_data.VarStrType()),
 284     ])
 285     def handle_alert(self, message, signature):
 286         print 'ALERT:', (message, signature)
 287
 288     def connectionLost(self, reason):
 289         if hasattr(self.factory, 'gotConnection'):
 290             self.factory.gotConnection(None)
 291
 292 class ClientFactory(protocol.ReconnectingClientFactory):
 293     protocol = Protocol
 294
 295     maxDelay = 15
 296
 297     def __init__(self, net):
 298         self.net = net
 299         self.conn = variable.Variable(None)
 300
 301         self.new_block = variable.Event()
 302         self.new_tx = variable.Event()
 303         self.new_headers = variable.Event()
 304
 305     def buildProtocol(self, addr):
 306         p = self.protocol(self.net)
 307         p.factory = self
 308         return p
 309
 310     def gotConnection(self, conn):
 311         self.conn.set(conn)
 312
 313     def getProtocol(self):
 314         return self.conn.get_not_none()
 315
 316 class HeaderWrapper(object):
 317     target = 0
 318     __slots__ = 'hash previous_hash'.split(' ')
 319
 320     def __init__(self, header):
 321         self.hash = bitcoin_data.block_header_type.hash256(header)
 322         self.previous_hash = header['previous_block']
 323
 324 class HeightTracker(object):
 325     '''Point this at a factory and let it take care of getting block heights'''
 326
 327     def __init__(self, factory):
 328         self.factory = factory
 329         self.tracker = bitcoin_data.Tracker()
 330         self.most_recent = None
 331
 332         self._watch1 = self.factory.new_headers.watch(self.heard_headers)
 333         self._watch2 = self.factory.new_block.watch(self.heard_block)
 334
 335         self.requested = set()
 336         self._clear_task = task.LoopingCall(self.requested.clear)
 337         self._clear_task.start(60)
 338
 339         self.last_notified_size = 0
 340
 341         self.think()
 342
 343     def think(self):
 344         highest_head = max(self.tracker.heads, key=lambda h: self.tracker.get_height_and_last(h)[0]) if self.tracker.heads else None
 345         height, last = self.tracker.get_height_and_last(highest_head)
 346         cur = highest_head
 347         cur_height = height
 348         have = []
 349         step = 1
 350         while cur is not None:
 351             have.append(cur)
 352             if step > cur_height:
 353                 break
 354             cur = self.tracker.get_nth_parent_hash(cur, step)
 355             cur_height -= step
 356             if len(have) > 10:
 357                 step *= 2
 358         if height:
 359             have.append(self.tracker.get_nth_parent_hash(highest_head, height - 1))
 360         if not have:
 361             have.append(0)
 362         self.request(have, None)
 363
 364         for tail in self.tracker.tails:
 365             if tail is None:
 366                 continue
 367             self.request([], tail)
 368         for head in self.tracker.heads:
 369             if head == highest_head:
 370                 continue
 371             self.request([head], None)
 372
 373     def heard_headers(self, headers):
 374         for header in headers:
 375             self.tracker.add(HeaderWrapper(header))
 376         self.think()
 377
 378         if len(self.tracker.shares) > self.last_notified_size + 10:
 379             print "Have %i block headers" % len(self.tracker.shares)
 380             self.last_notified_size = len(self.tracker.shares)
 381
 382     def heard_block(self, block_hash):
 383         self.request([], block_hash)
 384
 385     @defer.inlineCallbacks
 386     def request(self, have, last):
 387         if (tuple(have), last) in self.requested:
 388             return
 389         self.requested.add((tuple(have), last))
 390         (yield self.factory.getProtocol()).send_getheaders(version=1, have=have, last=last)
 391
 392     #@defer.inlineCallbacks
 393     #XXX should defer?
 394     def getHeight(self, block_hash):
 395         height, last = self.tracker.get_height_and_last(block_hash)
 396         if last is not None:
 397             self.request([], last)
 398             raise ValueError()
 399         return height
 400
 401     def get_min_height(self, block_hash):
 402         height, last = self.tracker.get_height_and_last(block_hash)
 403         if last is not None:
 404             self.request([], last)
 405         return height
 406
 407     def get_highest_height(self):
 408         return self.tracker.get_highest_height()
 409
 410     def stop(self):
 411         self.factory.new_headers.unwatch(self._watch1)
 412         self.factory.new_block.unwatch(self._watch2)
 413         self._clear_task.stop()
 414
 415 if __name__ == '__main__':
 416     factory = ClientFactory(bitcoin_data.Mainnet)
 417     reactor.connectTCP('127.0.0.1', 8333, factory)
 418     h = HeightTracker(factory)
 419
 420     @repr
 421     @apply
 422     @defer.inlineCallbacks
 423     def think():
 424         while True:
 425             yield deferral.sleep(1)
 426             print h.get_min_height(0xa285c3cb2a90ac7194cca034512748289e2526d9d7ae6ee7523)
 427
 428     reactor.run()