update hw requirement and recommend bitcoind stable
[electrum-server.git] / HOWTO.md
1 How to run your own Electrum server
2 ===================================
3
4 Abstract
5 --------
6
7 This document is an easy to follow guide to installing and running your own
8 Electrum server on Linux. It is structured as a series of steps you need to
9 follow, ordered in the most logical way. The next two sections describe some
10 conventions we use in this document and hardware, software and expertise
11 requirements.
12
13 The most up-to date version of this document is available at:
14
15     https://github.com/spesmilo/electrum-server/blob/master/HOWTO.md
16
17 Conventions
18 -----------
19
20 In this document, lines starting with a hash sign (#) or a dollar sign ($)
21 contain commands. Commands starting with a hash should be run as root,
22 commands starting with a dollar should be run as a normal user (in this
23 document, we assume that user is called 'bitcoin'). We also assume the
24 bitcoin user has sudo rights, so we use '$ sudo command' when we need to.
25
26 Strings that are surrounded by "lower than" and "greater than" ( < and > )
27 should be replaced by the user with something appropriate. For example,
28 <password> should be replaced by a user chosen password. Do not confuse this
29 notation with shell redirection ('command < file' or 'command > file')!
30
31 Lines that lack hash or dollar signs are pastes from config files. They
32 should be copied verbatim or adapted, without the indentation tab.
33
34 Prerequisites
35 -------------
36
37 **Expertise.** You should be familiar with Linux command line and
38 standard Linux commands. You should have basic understanding of git,
39 Python packages. You should have knowledge about how to install and
40 configure software on your Linux distribution. You should be able to
41 add commands to your distribution's startup scripts. If one of the
42 commands included in this document is not available or does not
43 perform the operation described here, you are expected to fix the
44 issue so you can continue following this howto.
45
46 **Software.** A recent Linux distribution with the following software
47 installed: `python`, `easy_install`, `git`, standard C/C++
48 build chain. You will need root access in order to install other software or
49 Python libraries. 
50
51 **Hardware.** The lightest setup is a pruning server with diskspace 
52 requirements well under 1 GB growing very moderately and less taxing 
53 on I/O and CPU once it's up and running. However note that you also need
54 to run bitcoind and keep a copy of the full blockchain, which is roughly
55 9 GB in April 2013. If you have less than 2 GB of RAM make sure you limit
56 bitcoind to 8 concurrent connections. If you have more ressources to 
57 spare you can run the server with a higher limit of historic transactions 
58 per address. CPU speed is also important, mostly for the initial block 
59 chain import, but also if you plan to run a public Electrum server, which 
60 could serve tens of concurrent requests. Any multi-core x86 CPU ~2009 or
61 newer other than Atom should do for good performance.
62
63 Instructions
64 ------------
65
66 ### Step 1. Create a user for running bitcoind and Electrum server
67
68 This step is optional, but for better security and resource separation I
69 suggest you create a separate user just for running `bitcoind` and Electrum.
70 We will also use the `~/bin` directory to keep locally installed files
71 (others might want to use `/usr/local/bin` instead). We will download source
72 code files to the `~/src` directory.
73
74     # sudo adduser bitcoin
75     # su - bitcoin
76     $ mkdir ~/bin ~/src
77     $ echo $PATH
78
79 If you don't see `/home/bitcoin/bin` in the output, you should add this line
80 to your `.bashrc`, `.profile` or `.bash_profile`, then logout and relogin:
81
82     PATH="$HOME/bin:$PATH"
83
84 ### Step 2. Download and install Electrum
85
86 We will download the latest git snapshot for Electrum and 'install' it in
87 our ~/bin directory:
88
89     $ mkdir -p ~/src/electrum
90     $ cd ~/src/electrum
91     $ git clone https://github.com/spesmilo/electrum-server.git server
92     $ chmod +x ~/src/electrum/server/server.py
93     $ ln -s ~/src/electrum/server/server.py ~/bin/electrum
94
95 ### Step 2. Download Bitcoind stable from git & patch it
96
97 In order for the latest versions of Electrum to work properly we will need to use 
98 bitcoind 0.8.1 stable or higher. It can be downloaded from github and 
99 it needs to be patched with an electrum specific patch.
100
101     $ cd src && wget https://github.com/bitcoin/bitcoin/archive/v0.8.1.tar.gz
102     $ tar xfz v0.8.1.tar.gz
103     $ cd bitcoin-0.8.1
104     $ patch -p1 < ~/src/electrum/server/patch/patch
105     $ cd src && make -f makefile.unix
106
107 ### Step 3. Configure and start bitcoind
108
109 In order to allow Electrum to "talk" to `bitcoind`, we need to set up a RPC
110 username and password for `bitcoind`. We will then start `bitcoind` and
111 wait for it to complete downloading the blockchain.
112
113     $ mkdir ~/.bitcoin
114     $ $EDITOR ~/.bitcoin/bitcoin.conf
115
116 Write this in `bitcoin.conf`:
117
118     rpcuser=<rpc-username>
119     rpcpassword=<rpc-password>
120     daemon=1
121
122 Restart `bitcoind`:
123
124     $ bitcoind
125
126 Allow some time to pass, so `bitcoind` connects to the network and starts
127 downloading blocks. You can check its progress by running:
128
129     $ bitcoind getinfo
130
131 You should also set up your system to automatically start bitcoind at boot
132 time, running as the 'bitcoin' user. Check your system documentation to
133 find out the best way to do this.
134
135 ### Step 5. Install Electrum dependencies and leveldb
136
137 Electrum server depends on various standard Python libraries. These will be
138 already installed on your distribution, or can be installed with your
139 package manager. Electrum also depends on two Python libraries which we will
140 need to install "by hand": `JSONRPClib`.
141
142     $ sudo easy_install jsonrpclib
143
144
145 Then carry out the steps in README.leveldb to get your system ready for
146 leveldb setups.
147
148 ### Step 6. Select your limit
149
150 Electrum server uses leveldb to store transactions. You can choose
151 how many spent transactions per address you want to store on the server.
152 The default is 100, but there are also servers with 1000 or even 10000.
153 Very few addresses have more than 10000 transactions. A limit this high
154 can be considered to be equivalent to a "full" server. Full servers previously
155 used abe to store the blockchain. The use of abe for electrum servers is now
156 deprecated.
157
158 The pruning server uses leveldb and keeps a smaller and
159 faster database by pruning spent transactions. It's a lot quicker to get up
160 and running and requires less maintenance and diskspace than abe.
161
162 The section in the configuration file looks like this:
163
164      [leveldb]
165      path = /path/to/your/database
166      # for each address, history will be pruned if it is longer than this limit
167      pruning_limit = 100
168
169 ### Step 7. Import blockchain into the database or download it
170
171 As of April 2013 it takes between 12-24 to import 230k of blocks, depending
172 on CPU speed, I/O speed and selected pruning limit.
173
174 It's considerably faster to index in memory. You can use /dev/shm or indexing in RAM
175 or create a tmpfs which will also use swap if you run out of memory:
176
177     $ sudo mount -t tmpfs -o rw,nodev,nosuid,noatime,size=6000M,mode=0777 none /tmpfs
178
179 At limit 10000 the database comes to 3,5 GB with 230k blocks.
180
181 Alternatively you can fetch a pre-processed leveldb from the net
182
183 You can fetch recent copies of electrum leveldb databases and further instructions 
184 from the Electrum full archival server foundry at:
185 http://electrum-foundry.no-ip.org/ 
186
187 ### Step 8. Configure Electrum server
188
189 Electrum reads a config file (/etc/electrum.conf) when starting up. This
190 file includes the database setup, bitcoind RPC setup, and a few other
191 options.
192
193     $ sudo cp ~/src/electrum/server/electrum.conf.sample /etc/electrum.conf
194     $ sudo $EDITOR /etc/electrum.conf
195
196 Go through the sample config options and set them to your liking.
197 If you intend to run the server publicly have a look at README-IRC.md 
198
199 If you're looking to run SSL / HTTPS you need to generate a self-signed certificate
200 using openssl. Otherwise you can just comment out the SSL / HTTPS ports and run 
201 without.
202
203 ### Step 9. (Finally!) Run Electrum server
204
205 The magic moment has come: you can now start your Electrum server:
206
207     $ server
208
209 You should see this on the screen:
210
211     starting Electrum server
212     cache: yes
213
214 If you want to stop Electrum server, open another shell and run:
215
216     $ electrum-server stop
217
218 You should also take a look at the 'start' and 'stop' scripts in
219 `~/src/electrum/server`. You can use them as a starting point to create a
220 init script for your system.
221
222 ### Step 10. Test the Electrum server
223
224 We will assume you have a working Electrum client, a wallet and some
225 transactions history. You should start the client and click on the green
226 checkmark (last button on the right of the status bar) to open the Server
227 selection window. If your server is public, you should see it in the list
228 and you can select it. If you server is private, you need to enter its IP
229 or hostname and the port. Press Ok, the client will disconnect from the
230 current server and connect to your new Electrum server. You should see your
231 addresses and transactions history. You can see the number of blocks and
232 response time in the Server selection window. You should send/receive some
233 bitcoins to confirm that everything is working properly.
234
235 ### Step 11. Join us on IRC, subscribe to the server thread
236
237 Say hi to the dev crew, other server operators and fans on 
238 irc.freenode.net #electrum and we'll try to congratulate you
239 on supporting the community by running an Electrum node
240
241 If you're operating a public Electrum server please subscribe
242 to or regulary check the following thread:
243 https://bitcointalk.org/index.php?topic=85475.0
244 It'll contain announcements about important updates to Electrum
245 server required for a smooth user experience.