use set instead of list in memorypool_update
[electrum-server.git] / HOWTO.md
1 How to run your own Electrum server
2 ===================================
3
4 Abstract
5 --------
6
7 This document is an easy to follow guide to installing and running your own
8 Electrum server on Linux. It is structured as a series of steps you need to
9 follow, ordered in the most logical way. The next two sections describe some
10 conventions we use in this document and hardware, software and expertise
11 requirements.
12
13 The most up-to date version of this document is available at:
14
15     https://github.com/spesmilo/electrum-server/blob/master/HOWTO.md
16
17 Conventions
18 -----------
19
20 In this document, lines starting with a hash sign (#) or a dollar sign ($)
21 contain commands. Commands starting with a hash should be run as root,
22 commands starting with a dollar should be run as a normal user (in this
23 document, we assume that user is called 'bitcoin'). We also assume the
24 bitcoin user has sudo rights, so we use '$ sudo command' when we need to.
25
26 Strings that are surrounded by "lower than" and "greater than" ( < and > )
27 should be replaced by the user with something appropriate. For example,
28 <password> should be replaced by a user chosen password. Do not confuse this
29 notation with shell redirection ('command < file' or 'command > file')!
30
31 Lines that lack hash or dollar signs are pastes from config files. They
32 should be copied verbatim or adapted, without the indentation tab.
33
34 apt-get install commands are suggestions for required dependencies.
35 They conform to an Ubuntu 13.04 system but may well work with Debian
36 or earlier and later versions of Ubuntu.
37
38 Prerequisites
39 -------------
40
41 **Expertise.** You should be familiar with Linux command line and
42 standard Linux commands. You should have basic understanding of git,
43 Python packages. You should have knowledge about how to install and
44 configure software on your Linux distribution. You should be able to
45 add commands to your distribution's startup scripts. If one of the
46 commands included in this document is not available or does not
47 perform the operation described here, you are expected to fix the
48 issue so you can continue following this howto.
49
50 **Software.** A recent Linux 64-bit distribution with the following software
51 installed: `python`, `easy_install`, `git`, standard C/C++
52 build chain. You will need root access in order to install other software or
53 Python libraries. 
54
55 **Hardware.** The lightest setup is a pruning server with diskspace 
56 requirements well under 1 GB growing very moderately and less taxing 
57 on I/O and CPU once it's up and running. However note that you also need
58 to run bitcoind and keep a copy of the full blockchain, which is roughly
59 9 GB in April 2013. If you have less than 2 GB of RAM make sure you limit
60 bitcoind to 8 concurrent connections. If you have more ressources to 
61 spare you can run the server with a higher limit of historic transactions 
62 per address. CPU speed is also important, mostly for the initial block 
63 chain import, but also if you plan to run a public Electrum server, which 
64 could serve tens of concurrent requests. Any multi-core x86 CPU ~2009 or
65 newer other than Atom should do for good performance.
66
67 Instructions
68 ------------
69
70 ### Step 1. Create a user for running bitcoind and Electrum server
71
72 This step is optional, but for better security and resource separation I
73 suggest you create a separate user just for running `bitcoind` and Electrum.
74 We will also use the `~/bin` directory to keep locally installed files
75 (others might want to use `/usr/local/bin` instead). We will download source
76 code files to the `~/src` directory.
77
78     # sudo adduser bitcoin --disabled-password
79     # su - bitcoin
80     $ mkdir ~/bin ~/src
81     $ echo $PATH
82
83 If you don't see `/home/bitcoin/bin` in the output, you should add this line
84 to your `.bashrc`, `.profile` or `.bash_profile`, then logout and relogin:
85
86     PATH="$HOME/bin:$PATH"
87
88 ### Step 2. Download and install Electrum
89
90 We will download the latest git snapshot for Electrum and 'install' it in
91 our ~/bin directory:
92
93     $ mkdir -p ~/src/electrum
94     $ cd ~/src/electrum
95     $ sudo apt-get install git
96     $ git clone https://github.com/spesmilo/electrum-server.git server
97     $ chmod +x ~/src/electrum/server/server.py
98     $ ln -s ~/src/electrum/server/server.py ~/bin/electrum-server
99
100 ### Step 3. Download bitcoind
101
102 Older versions of Electrum used to require a patched version of bitcoind. 
103 This is not the case anymore since bitcoind supports the 'txindex' option.
104 We currently recommend bitcoind 0.8.5 stable.
105
106 If your package manager does not supply a recent bitcoind and prefer to compile
107 here are some pointers for Ubuntu:
108
109     $ cd ~/src && wget http://sourceforge.net/projects/bitcoin/files/Bitcoin/bitcoin-0.8.5/bitcoin-0.8.5-linux.tar.gz
110     $ tar xfz bitcoin-0.8.5-linux.tar.gz
111     $ cd bitcoin-0.8.5-linux/src/src
112     $ sudo apt-get install make g++ python-leveldb libboost-all-dev libssl-dev libdb++-dev 
113     $ make USE_UPNP= -f makefile.unix
114     $ strip ~/src/bitcoin-0.8.5-linux/src/src/bitcoind
115     $ ln -s ~/src/bitcoin-0.8.5-linux/src/src/bitcoind ~/bin/bitcoind
116
117 ### Step 4. Configure and start bitcoind
118
119 In order to allow Electrum to "talk" to `bitcoind`, we need to set up a RPC
120 username and password for `bitcoind`. We will then start `bitcoind` and
121 wait for it to complete downloading the blockchain.
122
123     $ mkdir ~/.bitcoin
124     $ $EDITOR ~/.bitcoin/bitcoin.conf
125
126 Write this in `bitcoin.conf`:
127
128     rpcuser=<rpc-username>
129     rpcpassword=<rpc-password>
130     daemon=1
131     txindex=1
132
133
134 If you have an existing installation of bitcoind and have not previously
135 set txindex=1 you need to reindex the blockchain by running
136
137     $ bitcoind -reindex
138
139 If you have a fresh copy of bitcoind start `bitcoind`:
140
141     $ bitcoind
142
143 Allow some time to pass, so `bitcoind` connects to the network and starts
144 downloading blocks. You can check its progress by running:
145
146     $ bitcoind getinfo
147
148 You should also set up your system to automatically start bitcoind at boot
149 time, running as the 'bitcoin' user. Check your system documentation to
150 find out the best way to do this.
151
152 ### Step 5. Install Electrum dependencies
153
154 Electrum server depends on various standard Python libraries. These will be
155 already installed on your distribution, or can be installed with your
156 package manager. Electrum also depends on two Python libraries which we will
157 need to install "by hand": `JSONRPClib`.
158
159     $ sudo apt-get install python-setuptools
160     $ sudo easy_install jsonrpclib
161     $ sudo apt-get install python-openssl
162
163 ### Step 6. Install leveldb
164
165     $ sudo apt-get install python-leveldb
166  
167 See the steps in README.leveldb for further details, especially if your system
168 doesn't have the python-leveldb package.
169
170 ### Step 7. Select your limit
171
172 Electrum server uses leveldb to store transactions. You can choose
173 how many spent transactions per address you want to store on the server.
174 The default is 100, but there are also servers with 1000 or even 10000.
175 Few addresses have more than 10000 transactions. A limit this high
176 can be considered to be equivalent to a "full" server. Full servers previously
177 used abe to store the blockchain. The use of abe for electrum servers is now
178 deprecated.
179
180 The pruning server uses leveldb and keeps a smaller and
181 faster database by pruning spent transactions. It's a lot quicker to get up
182 and running and requires less maintenance and diskspace than abe.
183
184 The section in the electrum server configuration file (see step 10) looks like this:
185
186      [leveldb]
187      path = /path/to/your/database
188      # for each address, history will be pruned if it is longer than this limit
189      pruning_limit = 100
190
191 ### Step 8. Import blockchain into the database or download it
192
193 It's recommended to fetch a pre-processed leveldb from the net
194
195 You can fetch recent copies of electrum leveldb databases and further instructions 
196 from the Electrum full archival server foundry at:
197 http://foundry.electrum.org/ 
198
199 Alternatively if you have the time and nerve you can import the blockchain yourself.
200
201 As of April 2013 it takes between 6-24 hours to import 230k of blocks, depending
202 on CPU speed, I/O speed and selected pruning limit.
203
204 It's considerably faster to index in memory. You can use /dev/shm or
205 or create a tmpfs which will also use swap if you run out of memory:
206
207     $ sudo mount -t tmpfs -o rw,nodev,nosuid,noatime,size=6000M,mode=0777 none /tmpfs
208
209 Figures from April 2013:
210 At limit 100 the database comes to 2,6 GB with 230k blocks and takes roughly 6h to import in /dev/shm.
211 At limit 1000 the database comes to 3,0 GB with 230k blocks and takes roughly 10h to import in /dev/shm.
212 At limit 10000 the database comes to 3,5 GB with 230k blocks and takes roughly 24h to import in /dev/shm.
213
214 As of November 2013 expect at least double the time for indexing the blockchain. Databases have grown to
215 roughly 4 GB, give or take a few hundred MB between pruning limits 100 and 10000. 
216
217
218 ### Step 9. Create a self-signed SSL cert
219
220 To run SSL / HTTPS you need to generate a self-signed certificate
221 using openssl. You could just comment out the SSL / HTTPS ports in the config and run 
222 without, but this is not recommended.
223
224 Use the sample code below to create a self-signed cert with a recommended validity 
225 of 5 years. You may supply any information for your sign request to identify your server.
226 They are not currently checked by the client except for the validity date.
227 When asked for a challenge password just leave it empty and press enter.
228
229     $ openssl genrsa -des3 -passout pass:x -out server.pass.key 2048
230     $ openssl rsa -passin pass:x -in server.pass.key -out server.key
231     writing RSA key
232     $ rm server.pass.key
233     $ openssl req -new -key server.key -out server.csr
234     ...
235     Country Name (2 letter code) [AU]:US
236     State or Province Name (full name) [Some-State]:California
237     Common Name (eg, YOUR name) []: electrum-server.tld
238     ...
239     A challenge password []:
240     ...
241
242     $ openssl x509 -req -days 730 -in server.csr -signkey server.key -out server.crt
243
244 The server.crt file is your certificate suitable for the ssl_certfile= parameter and
245 server.key corresponds to ssl_keyfile= in your electrum server config
246
247 Starting with Electrum 1.9 the client will learn and locally cache the SSL certificate 
248 for your server upon the first request to prevent man-in-the middle attacks for all
249 further connections.
250
251 If your certificate is lost or expires on the server side you currently need to run
252 your server with a different server name along with a new certificate for this server.
253 Therefore it's a good idea to make an offline backup copy of your certificate and key
254 in case you need to restore it.
255
256 ### Step 10. Configure Electrum server
257
258 Electrum reads a config file (/etc/electrum.conf) when starting up. This
259 file includes the database setup, bitcoind RPC setup, and a few other
260 options.
261
262     $ sudo cp ~/src/electrum/server/electrum.conf.sample /etc/electrum.conf
263     $ sudo $EDITOR /etc/electrum.conf
264
265 Go through the sample config options and set them to your liking.
266 If you intend to run the server publicly have a look at README-IRC.md 
267
268 ### Step 11. Tweak your system for running electrum
269
270 Electrum server currently needs quite a few file handles to use leveldb. It also requires
271 file handles for each connection made to the server. It's good practice to increase the
272 open files limit to 16k. This is most easily achived by sticking the value in .bashrc of the
273 root user who usually passes this value to all unprivileged user sessions too.
274
275     $ sudo sed -i '$a ulimit -n 16384' /root/.bashrc
276
277 We're aware the leveldb part in electrum server may leak some memory and it's good practice to
278 to either restart the server once in a while from cron (preferred) or to at least monitor 
279 it for crashes and then restart the server. Weekly restarts should be fine for most setups.
280 If your server gets a lot of traffic and you have a limited amount of RAM you may need to restart
281 more often.
282
283 Two more things for you to consider:
284
285 1. To increase security you may want to close bitcoind for incoming connections and connect outbound only
286
287 2. Consider restarting bitcoind (together with electrum-server) on a weekly basis to clear out unconfirmed
288    transactions from the local the memory pool which did not propagate over the network
289
290 ### Step 12. (Finally!) Run Electrum server
291
292 The magic moment has come: you can now start your Electrum server:
293
294     $ electrum-server
295
296 You should see this on the screen:
297
298     starting Electrum server
299     cache: yes
300
301 If you want to stop Electrum server, open another shell and run:
302
303     $ electrum-server stop
304
305 You should also take a look at the 'start' and 'stop' scripts in
306 `~/src/electrum/server`. You can use them as a starting point to create a
307 init script for your system.
308
309 ### Step 13. Test the Electrum server
310
311 We will assume you have a working Electrum client, a wallet and some
312 transactions history. You should start the client and click on the green
313 checkmark (last button on the right of the status bar) to open the Server
314 selection window. If your server is public, you should see it in the list
315 and you can select it. If you server is private, you need to enter its IP
316 or hostname and the port. Press Ok, the client will disconnect from the
317 current server and connect to your new Electrum server. You should see your
318 addresses and transactions history. You can see the number of blocks and
319 response time in the Server selection window. You should send/receive some
320 bitcoins to confirm that everything is working properly.
321
322 ### Step 13. Join us on IRC, subscribe to the server thread
323
324 Say hi to the dev crew, other server operators and fans on 
325 irc.freenode.net #electrum and we'll try to congratulate you
326 on supporting the community by running an Electrum node
327
328 If you're operating a public Electrum server please subscribe
329 to or regulary check the following thread:
330 https://bitcointalk.org/index.php?topic=85475.0
331 It'll contain announcements about important updates to Electrum
332 server required for a smooth user experience.