p2pool/bitcoin/p2p.py

   1 '''
   2 Implementation of Bitcoin's p2p protocol
   3 '''
   4
   5 from __future__ import division
   6
   7 import hashlib
   8 import random
   9 import struct
  10 import time
  11
  12 from twisted.internet import defer, protocol, reactor, task
  13 from twisted.python import log
  14
  15 from . import data as bitcoin_data
  16 from p2pool.util import variable, datachunker, deferral
  17
  18 class TooLong(Exception):
  19     pass
  20
  21 class BaseProtocol(protocol.Protocol):
  22     def connectionMade(self):
  23         self.dataReceived = datachunker.DataChunker(self.dataReceiver())
  24
  25     def dataReceiver(self):
  26         while True:
  27             start = ''
  28             while start != self._prefix:
  29                 start = (start + (yield 1))[-len(self._prefix):]
  30
  31             command = (yield 12).rstrip('\0')
  32             length, = struct.unpack('<I', (yield 4))
  33
  34             if length > self.max_payload_length:
  35                 print 'length too large'
  36                 continue
  37
  38             if self.use_checksum:
  39                 checksum = yield 4
  40             else:
  41                 checksum = None
  42
  43             payload = yield length
  44
  45             if checksum is not None:
  46                 if hashlib.sha256(hashlib.sha256(payload).digest()).digest()[:4] != checksum:
  47                     print 'invalid hash for', repr(command), checksum.encode('hex') if checksum is not None else None, repr(payload[:100].encode('hex')), len(payload)
  48                     continue
  49
  50             type_ = getattr(self, 'message_' + command, None)
  51             if type_ is None:
  52                 print 'no type for', repr(command)
  53                 continue
  54
  55             try:
  56                 payload2 = type_.unpack(payload)
  57             except:
  58                 print 'RECV', command, checksum.encode('hex') if checksum is not None else None, repr(payload.encode('hex')), len(payload)
  59                 log.err(None, 'Error parsing message: (see RECV line)')
  60                 continue
  61
  62             handler = getattr(self, 'handle_' + command, None)
  63             if handler is None:
  64                 print 'no handler for', repr(command)
  65                 continue
  66
  67             try:
  68                 handler(**payload2)
  69             except:
  70                 print 'RECV', command, repr(payload2)[:100]
  71                 log.err(None, 'Error handling message: (see RECV line)')
  72                 continue
  73
  74     def sendPacket(self, command, payload2):
  75         if len(command) >= 12:
  76             raise ValueError('command too long')
  77         type_ = getattr(self, 'message_' + command, None)
  78         if type_ is None:
  79             raise ValueError('invalid command')
  80         #print 'SEND', command, repr(payload2)[:500]
  81         payload = type_.pack(payload2)
  82         if len(payload) > self.max_payload_length:
  83             raise TooLong('payload too long')
  84         if self.use_checksum:
  85             checksum = hashlib.sha256(hashlib.sha256(payload).digest()).digest()[:4]
  86         else:
  87             checksum = ''
  88         data = self._prefix + struct.pack('<12sI', command, len(payload)) + checksum + payload
  89         self.transport.write(data)
  90
  91     def __getattr__(self, attr):
  92         prefix = 'send_'
  93         if attr.startswith(prefix):
  94             command = attr[len(prefix):]
  95             return lambda **payload2: self.sendPacket(command, payload2)
  96         #return protocol.Protocol.__getattr__(self, attr)
  97         raise AttributeError(attr)
  98
  99 class Protocol(BaseProtocol):
 100     def __init__(self, net):
 101         self._prefix = net.BITCOIN_P2P_PREFIX
 102
 103     version = 0
 104
 105     max_payload_length = 1000000
 106
 107     @property
 108     def use_checksum(self):
 109         return self.version >= 209
 110
 111
 112     null_order = '\0'*60
 113
 114     def connectionMade(self):
 115         BaseProtocol.connectionMade(self)
 116
 117         self.send_version(
 118             version=32200,
 119             services=1,
 120             time=int(time.time()),
 121             addr_to=dict(
 122                 services=1,
 123                 address=self.transport.getPeer().host,
 124                 port=self.transport.getPeer().port,
 125             ),
 126             addr_from=dict(
 127                 services=1,
 128                 address=self.transport.getHost().host,
 129                 port=self.transport.getHost().port,
 130             ),
 131             nonce=random.randrange(2**64),
 132             sub_version_num='',
 133             start_height=0,
 134         )
 135
 136     message_version = bitcoin_data.ComposedType([
 137         ('version', bitcoin_data.StructType('<I')),
 138         ('services', bitcoin_data.StructType('<Q')),
 139         ('time', bitcoin_data.StructType('<Q')),
 140         ('addr_to', bitcoin_data.address_type),
 141         ('addr_from', bitcoin_data.address_type),
 142         ('nonce', bitcoin_data.StructType('<Q')),
 143         ('sub_version_num', bitcoin_data.VarStrType()),
 144         ('start_height', bitcoin_data.StructType('<I')),
 145     ])
 146     def handle_version(self, version, services, time, addr_to, addr_from, nonce, sub_version_num, start_height):
 147         #print 'VERSION', locals()
 148         self.version_after = version
 149         self.send_verack()
 150
 151     message_verack = bitcoin_data.ComposedType([])
 152     def handle_verack(self):
 153         self.version = self.version_after
 154
 155         self.ready()
 156
 157     def ready(self):
 158         self.check_order = deferral.GenericDeferrer(2**256, lambda id, order: self.send_checkorder(id=id, order=order))
 159         self.submit_order = deferral.GenericDeferrer(2**256, lambda id, order: self.send_submitorder(id=id, order=order))
 160         self.get_block = deferral.ReplyMatcher(lambda hash: self.send_getdata(requests=[dict(type='block', hash=hash)]))
 161         self.get_block_header = deferral.ReplyMatcher(lambda hash: self.send_getheaders(version=1, have=[], last=hash))
 162         self.get_tx = deferral.ReplyMatcher(lambda hash: self.send_getdata(requests=[dict(type='tx', hash=hash)]))
 163
 164         if hasattr(self.factory, 'resetDelay'):
 165             self.factory.resetDelay()
 166         if hasattr(self.factory, 'gotConnection'):
 167             self.factory.gotConnection(self)
 168
 169     message_inv = bitcoin_data.ComposedType([
 170         ('invs', bitcoin_data.ListType(bitcoin_data.ComposedType([
 171             ('type', bitcoin_data.EnumType(bitcoin_data.StructType('<I'), {'tx': 1, 'block': 2})),
 172             ('hash', bitcoin_data.HashType()),
 173         ]))),
 174     ])
 175     def handle_inv(self, invs):
 176         for inv in invs:
 177             if inv['type'] == 'tx':
 178                 self.factory.new_tx.happened(inv['hash'])
 179             elif inv['type'] == 'block':
 180                 self.factory.new_block.happened(inv['hash'])
 181             else:
 182                 print 'Unknown inv type', item
 183
 184     message_getdata = bitcoin_data.ComposedType([
 185         ('requests', bitcoin_data.ListType(bitcoin_data.ComposedType([
 186             ('type', bitcoin_data.EnumType(bitcoin_data.StructType('<I'), {'tx': 1, 'block': 2})),
 187             ('hash', bitcoin_data.HashType()),
 188         ]))),
 189     ])
 190     message_getblocks = bitcoin_data.ComposedType([
 191         ('version', bitcoin_data.StructType('<I')),
 192         ('have', bitcoin_data.ListType(bitcoin_data.HashType())),
 193         ('last', bitcoin_data.PossiblyNoneType(0, bitcoin_data.HashType())),
 194     ])
 195     message_getheaders = bitcoin_data.ComposedType([
 196         ('version', bitcoin_data.StructType('<I')),
 197         ('have', bitcoin_data.ListType(bitcoin_data.HashType())),
 198         ('last', bitcoin_data.PossiblyNoneType(0, bitcoin_data.HashType())),
 199     ])
 200     message_getaddr = bitcoin_data.ComposedType([])
 201     message_checkorder = bitcoin_data.ComposedType([
 202         ('id', bitcoin_data.HashType()),
 203         ('order', bitcoin_data.FixedStrType(60)), # XXX
 204     ])
 205     message_submitorder = bitcoin_data.ComposedType([
 206         ('id', bitcoin_data.HashType()),
 207         ('order', bitcoin_data.FixedStrType(60)), # XXX
 208     ])
 209
 210     message_addr = bitcoin_data.ComposedType([
 211         ('addrs', bitcoin_data.ListType(bitcoin_data.ComposedType([
 212             ('timestamp', bitcoin_data.StructType('<I')),
 213             ('address', bitcoin_data.address_type),
 214         ]))),
 215     ])
 216     def handle_addr(self, addrs):
 217         for addr in addrs:
 218             pass
 219
 220     message_tx = bitcoin_data.ComposedType([
 221         ('tx', bitcoin_data.tx_type),
 222     ])
 223     def handle_tx(self, tx):
 224         self.get_tx.got_response(bitcoin_data.tx_type.hash256(tx), tx)
 225
 226     message_block = bitcoin_data.ComposedType([
 227         ('block', bitcoin_data.block_type),
 228     ])
 229     def handle_block(self, block):
 230         block_hash = bitcoin_data.block_header_type.hash256(block['header'])
 231         self.get_block.got_response(block_hash, block)
 232         self.get_block_header.got_response(block_hash, block['header'])
 233
 234     message_headers = bitcoin_data.ComposedType([
 235         ('headers', bitcoin_data.ListType(bitcoin_data.block_type)),
 236     ])
 237     def handle_headers(self, headers):
 238         for header in headers:
 239             header = header['header']
 240             self.get_block_header.got_response(bitcoin_data.block_header_type.hash256(header), header)
 241         self.factory.new_headers.happened([header['header'] for header in headers])
 242
 243     message_reply = bitcoin_data.ComposedType([
 244         ('hash', bitcoin_data.HashType()),
 245         ('reply',  bitcoin_data.EnumType(bitcoin_data.StructType('<I'), {'success': 0, 'failure': 1, 'denied': 2})),
 246         ('script', bitcoin_data.PossiblyNoneType('', bitcoin_data.VarStrType())),
 247     ])
 248     def handle_reply(self, hash, reply, script):
 249         self.check_order.got_response(hash, dict(reply=reply, script=script))
 250         self.submit_order.got_response(hash, dict(reply=reply, script=script))
 251
 252     message_ping = bitcoin_data.ComposedType([])
 253     def handle_ping(self):
 254         pass
 255
 256     message_alert = bitcoin_data.ComposedType([
 257         ('message', bitcoin_data.VarStrType()),
 258         ('signature', bitcoin_data.VarStrType()),
 259     ])
 260     def handle_alert(self, message, signature):
 261         print 'ALERT:', (message, signature)
 262
 263     def connectionLost(self, reason):
 264         if hasattr(self.factory, 'gotConnection'):
 265             self.factory.gotConnection(None)
 266
 267 class ClientFactory(protocol.ReconnectingClientFactory):
 268     protocol = Protocol
 269
 270     maxDelay = 1
 271
 272     def __init__(self, net):
 273         self.net = net
 274         self.conn = variable.Variable(None)
 275
 276         self.new_block = variable.Event()
 277         self.new_tx = variable.Event()
 278         self.new_headers = variable.Event()
 279
 280     def buildProtocol(self, addr):
 281         p = self.protocol(self.net)
 282         p.factory = self
 283         return p
 284
 285     def gotConnection(self, conn):
 286         self.conn.set(conn)
 287
 288     def getProtocol(self):
 289         return self.conn.get_not_none()
 290
 291 class HeaderWrapper(object):
 292     target = 2**256 - 1
 293     __slots__ = 'hash previous_hash'.split(' ')
 294
 295     @classmethod
 296     def from_header(cls, header):
 297         return cls(bitcoin_data.block_header_type.hash256(header), header['previous_block'])
 298
 299     def __init__(self, hash, previous_hash):
 300         self.hash, self.previous_hash = hash, previous_hash
 301
 302 class HeightTracker(object):
 303     '''Point this at a factory and let it take care of getting block heights'''
 304
 305     def __init__(self, factory, backing):
 306         self.factory = factory
 307         self.tracker = bitcoin_data.Tracker()
 308         self.backing = backing
 309         self.most_recent = None
 310
 311         self._watch1 = self.factory.new_headers.watch(self.heard_headers)
 312         self._watch2 = self.factory.new_block.watch(self.heard_block)
 313
 314         self.requested = set()
 315         self._clear_task = task.LoopingCall(self.requested.clear)
 316         self._clear_task.start(60)
 317
 318         self.last_notified_size = 0
 319
 320         self.updated = variable.Event()
 321
 322         self._load_backing()
 323
 324         self.think()
 325
 326     def _load_backing(self):
 327         open(self.backing, 'ab').close()
 328         with open(self.backing, 'rb') as f:
 329             count = 0
 330             for line in f:
 331                 try:
 332                     hash, previous_hash, checksum = (int(x, 16) for x in line.strip().split(' '))
 333                 except Exception:
 334                     print "skipping over bad data in headers.dat"
 335                 else:
 336                     if (hash - previous_hash) % 2**256 != checksum:
 337                         print "checksum failed"
 338                         continue
 339                     if previous_hash == 0: previous_hash = None
 340                     count += 1
 341                     if count % 10000 == 0 and count: print count
 342                     if hash not in self.tracker.shares:
 343                         self.tracker.add(HeaderWrapper(hash, previous_hash))
 344
 345     def think(self):
 346         highest_head = max(self.tracker.heads, key=lambda h: self.tracker.get_height_and_last(h)[0]) if self.tracker.heads else None
 347         height, last = self.tracker.get_height_and_last(highest_head)
 348         cur = highest_head
 349         cur_height = height
 350         have = []
 351         step = 1
 352         while cur is not None:
 353             have.append(cur)
 354             if step > cur_height:
 355                 break
 356             cur = self.tracker.get_nth_parent_hash(cur, step)
 357             cur_height -= step
 358             if len(have) > 10:
 359                 step *= 2
 360         if height:
 361             have.append(self.tracker.get_nth_parent_hash(highest_head, height - 1))
 362         if not have:
 363             have.append(0)
 364         self.request(have, None)
 365
 366         for tail in self.tracker.tails:
 367             if tail is None:
 368                 continue
 369             self.request([], tail)
 370         for head in self.tracker.heads:
 371             if head == highest_head:
 372                 continue
 373             self.request([head], None)
 374
 375     def heard_headers(self, headers):
 376         changed = False
 377         b = open(self.backing, 'ab')
 378         for header in headers:
 379             hw = HeaderWrapper.from_header(header)
 380             if hw.hash in self.tracker.shares:
 381                 continue
 382             changed = True
 383             self.tracker.add(hw)
 384             hash, prev = hw.hash, 0 if hw.previous_hash is None else hw.previous_hash
 385             b.write('%x %x %x\n' % (hash, prev, (hash - prev) % 2**256))
 386         b.close()
 387         if changed:
 388             self.updated.happened()
 389         self.think()
 390
 391         if len(self.tracker.shares) > self.last_notified_size + 10:
 392             print 'Have %i block headers' % len(self.tracker.shares)
 393             self.last_notified_size = len(self.tracker.shares)
 394
 395     def heard_block(self, block_hash):
 396         self.request([], block_hash)
 397
 398     @defer.inlineCallbacks
 399     def request(self, have, last):
 400         if (tuple(have), last) in self.requested:
 401             return
 402         self.requested.add((tuple(have), last))
 403         (yield self.factory.getProtocol()).send_getheaders(version=1, have=have, last=last)
 404
 405     def getHeight(self, block_hash):
 406         height, last = self.tracker.get_height_and_last(block_hash)
 407         if last is not None:
 408             #self.request([], last)
 409             raise ValueError()
 410         return height
 411
 412     def get_min_height(self, block_hash):
 413         height, last = self.tracker.get_height_and_last(block_hash)
 414         #if last is not None:
 415         #    self.request([], last)
 416         return height
 417
 418     def get_highest_height(self):
 419         return self.tracker.get_highest_height()
 420
 421     def stop(self):
 422         self.factory.new_headers.unwatch(self._watch1)
 423         self.factory.new_block.unwatch(self._watch2)
 424         self._clear_task.stop()
 425
 426 if __name__ == '__main__':
 427     factory = ClientFactory(bitcoin_data.Mainnet)
 428     reactor.connectTCP('127.0.0.1', 8333, factory)
 429     h = HeightTracker(factory)
 430
 431     @repr
 432     @apply
 433     @defer.inlineCallbacks
 434     def think():
 435         while True:
 436             yield deferral.sleep(1)
 437             print h.get_min_height(0xa285c3cb2a90ac7194cca034512748289e2526d9d7ae6ee7523)
 438
 439     reactor.run()