Merge pull request #1 from colindean/master
[electrum-server.git] / HOWTO
1 How to run your own Electrum server
2 ===================================
3
4 Abstract
5 --------
6
7 This document is an easy to follow guide to installing and running your own
8 Electrum server on Linux. It is structured as a series of steps you need to
9 follow, ordered in the most logical way. The next two sections describe some
10 conventions we use in this document and hardware, software and expertise
11 requirements.
12
13 The most up-to date version of this document is available at:
14
15     https://gitorious.org/electrum/server/blobs/master/HOWTO
16
17 Conventions
18 -----------
19
20 In this document, lines starting with a hash sign (#) or a dollar sign ($)
21 contain commands. Commands starting with a hash should be run as root,
22 commands starting with a dollar should be run as a normal user (in this
23 document, we assume that user is called 'bitcoin'). We also assume the
24 bitcoin user has sudo rights, so we use '$ sudo command' when we need to.
25
26 Strings that are surrounded by "lower than" and "greater than" ( < and > )
27 should be replaced by the user with something appropriate. For example,
28 <password> should be replaced by a user chosen password. Do not confuse this
29 notation with shell redirection ('command < file' or 'command > file')!
30
31 Lines that lack hash or dollar signs are pastes from config files. They
32 should be copied verbatim or adapted, without the indentation tab.
33
34 Prerequisites
35 -------------
36
37 **Expertise.** You should be familiar with Linux command line and standard
38 Linux commands. You should have basic understanding of git, Python packages,
39 compiling and applying patches to source code. You should have knowledge
40 about how to install and configure software on your Linux distribution. You
41 should be able to add commands to your distribution's startup scripts. If
42 one of the commands included in this document is not available or does not
43 perform the operation described here, you are expected to fix the issue so
44 you can continue following this howto.
45
46 **Software.** A recent Linux distribution with the following software
47 installed: `python`, `easy_install`, `git`, a SQL server, standard C/C++
48 build chain. You will need root access in order to install other software or
49 Python libraries. You will need access to the SQL server to create users and
50 databases.
51
52 **Hardware.** Running a Bitcoin node and Electrum server is
53 resource-intensive. At the time of this writing, the Bitcoin blockchain is
54 3.5 GB large. The corresponding SQL database is about 4 time larger, so you
55 should have a minimum of 14 GB free space. You should expect the total size
56 to grow with time. CPU speed is also important, mostly for the initial block
57 chain import, but also if you plan to run a public Electrum server, which
58 could serve tens of concurrent requests. See step 6 below for some initial
59 import benchmarks.
60
61 Instructions
62 ------------
63
64 ### Step 0. Create a user for running bitcoind and Electrum server
65
66 This step is optional, but for better security and resource separation I
67 suggest you create a separate user just for running `bitcoind` and Electrum.
68 We will also use the `~/bin` directory to keep locally installed files
69 (others might want to use `/usr/local/bin` instead). We will download source
70 code files to the `~/src` directory.
71
72     # sudo adduser bitcoin
73     # su - bitcoin
74     $ mkdir ~/bin ~/src
75     $ echo $PATH
76
77 If you don't see `/home/bitcoin/bin` in the output, you should add this line
78 to your `.bashrc`, `.profile` or `.bash_profile`, then logout and relogin:
79
80     PATH="$HOME/bin:$PATH"
81
82 ### Step 1. Download and install Electrum
83
84 We will download the latest git snapshot for Electrum and 'install' it in
85 our ~/bin directory:
86
87     $ mkdir -p ~/src/electrum
88     $ cd ~/src/electrum
89     $ git://gitorious.org/electrum/server.git
90     $ chmod +x ~/src/electrum/server/server.py
91     $ ln -s ~/src/electrum/server/server.py ~/bin/electrum
92
93 ### Step 2. Install a patched version of bitcoind
94
95 Electrum server requires some small modifications to the bitcoind daemon.
96 The patch is included in the Electrum sources we just downloaded, now we
97 will download the Bitcoin sources, patch, compile and install the binary to
98 our `~/bin` directory.
99
100     $ cd ~/src
101     $ wget https://github.com/bitcoin/bitcoin/tarball/v0.6.0 -O bitcoin-0.6.0.tgz
102     $ tar xvzf bitcoin-0.6.0.tgz
103     $ mv bitcoin-bitcoin-b3b5ab1 bitcoin-0.6.0
104     $ cd bitcoin-0.6.0/src
105     $ patch -p 2 < ~/src/electrum/server/patches/bitcoin-0.6.0.diff
106     $ make -f makefile.unix
107     $ strip bitcoind
108     $ mv bitcoind ~/bin
109
110 ### Step 3. Configure and start bitcoind
111
112 In order to allow Electrum to "talk" to `bitcoind`, we need to set up a RPC
113 username and password for `bitcoind`. We will then start `bitcoind` and
114 wait for it to complete downloading the blockchain.
115
116     $ mkdir ~/.bitcoin
117     $ $EDITOR ~/.bitcoin/bitcoin.conf
118
119 Write this in `bitcoin.conf`:
120
121     rpcuser=<rpc-username>
122     rpcpassword=<rpc-password>
123     daemon=1
124
125 Restart `bitcoind`:
126
127     $ bitcoind
128
129 Allow some time to pass, so `bitcoind` connects to the network and starts
130 downloading blocks. You can check its progress by running:
131
132     $ bitcoind getinfo
133
134 You should also set up your system to automatically start bitcoind at boot
135 time, running as the 'bitcoin' user. Check your system documentation to
136 find out the best way to do this.
137
138 ### Step 4. Install Electrum dependencies
139
140 Electrum server depends on various standard Python libraries. These will be
141 already installed on your distribution, or can be installed with your
142 package manager. Electrum also depends on two Python libraries which we wil
143 l need to install "by hand": `Abe` and `JSONRPClib`.
144
145     $ sudo easy_install jsonrpclib
146     $ cd ~/src
147     $ git clone git://github.com/jtobey/bitcoin-abe.git
148     $ cd bitcoin-abe
149     $ sudo python setup.py install
150
151 Please note that the path below might be slightly different on your system,
152 for example python2.6 or 2.8.
153
154     $ sudo chmod +x /usr/local/lib/python2.7/dist-packages/Abe/abe.py
155     $ ln -s /usr/local/lib/python2.7/dist-packages/Abe/abe.py ~/bin/abe
156
157 ### Step 5. Configure the database
158
159 Electrum server uses a SQL database to store the blockchain data. In theory,
160 it supports all databases supported by Abe. At the time of this writing,
161 MySQL and PostgreSQL are tested and work ok, SQLite was tested and *does not
162 work* with Electrum server.
163
164 For MySQL:
165
166     $ mysql -u root -p
167     mysql> create user 'electrum'@'localhost' identified by '<db-password>';
168     mysql> create database electrum;
169     mysql> grant all on electrum.* to 'electrum'@'localhost';
170     mysql> exit
171
172 For PostgreSQL:
173
174     TBW!
175
176 ### Step 6. Configure Abe and import blockchain into the database
177
178 When you run Electrum server for the first time, it will automatically
179 import the blockchain into the database, so it is safe to skip this step.
180 However, our tests showed that, at the time of this writing, importing the
181 blockchain via Abe is much faster (about 20-30 times faster) than
182 allowing Electrum to do it.
183
184     $ cp ~/src/bitcoin-abe/abe.conf ~/abe.conf
185     $ $EDITOR ~/abe.conf
186
187 For MySQL, you need these lines:
188
189     dbtype MySQLdb
190     connect-args = { "db" : "electrum", "user" : "electrum" , "passwd" : "<database-password>" }
191
192 For PostgreSQL, you need these lines:
193
194     TBD!
195
196 Start Abe:
197
198     $ abe --config ~/abe.conf
199
200 Abe will now start to import blocks. You will see a lot of lines like this:
201
202     'block_tx <block-number> <tx-number>'
203
204 You should wait until you see this message on the screen:
205
206     Listening on http://localhost:2750
207
208 It means the blockchain is imported and you can exit Abe by pressing CTRL-C.
209 You will not need to run Abe again after this step, Electrum server will
210 update the blockchain by itself. We only used Abe because it is much faster
211 for the initial import.
212
213 Important notice: This is a *very* long process. Even on fast machines,
214 expect it to take hours. Here are some benchmarks for importing
215 ~196K blocks (size of the Bitcoin blockchain at the time of this writing):
216
217   * System 1: ~9 hours.
218           * CPU: Intel Core i7 Q740 @ 1.73GHz
219           * HDD: very fast SSD
220   * System 2: ~55 hours.
221           * CPU: Intel Xeon X3430 @ 2.40GHz
222           * HDD: 2 x SATA in a RAID1.
223
224 ### Step 7. Configure Electrum server
225
226 Electrum reads a config file (/etc/electrum.conf) when starting up. This
227 file includes the database setup, bitcoind RPC setup, and a few other
228 options.
229
230     $ sudo cp ~/src/electrum/server/electrum.conf.sample /etc/electrum.conf
231     $ sudo $EDITOR /etc/electrum.conf
232
233 Write this in `electrum.conf`:
234
235     # sample config for a public Electrum server        
236     [server]
237     host = host-fqdn
238     native_port = 50000
239     stratum_tcp_port:50001
240     stratum_http_port:8081
241     password = <electrum-server-password>
242     banner = Welcome to Electrum server!
243     irc = yes
244     cache = yes
245
246     # sample config for a private server (does not advertise on IRC)
247     [server]
248     host = localhost
249     native_port = 50000
250     stratum_tcp_port:50001
251     stratum_http_port:8081
252     password = <electrum-server-password>
253     banner = Welcome to my private Electrum server!
254     irc = no
255     cache = yes
256
257     # database setup - MySQL
258     [database]
259     type = MySQLdb
260     database = electrum
261     username = electrum
262     password = <database-password>
263
264     # database setup - PostgreSQL
265     TBD!
266
267     # bitcoind RPC setup
268     [bitcoind]
269     host = localhost
270     port = 8332
271     user = <rpc-username>
272     password = <rpc-password>
273
274 ### Step 8. (Finally!) Run Electrum server
275
276 The magic moment has come: you can now start your Electrum server:
277
278     $ electrum-server
279
280 You should see this on the screen:
281
282     starting Electrum server
283     cache: yes
284
285 If you want to stop Electrum server, open another shell and run:
286
287     $ electrum-server stop
288
289 You should also take a look at the 'start' and 'stop' scripts in
290 `~/src/electrum/server`. You can use them as a starting point to create a
291 init script for your system.
292
293 ### 9. Test the Electrum server
294
295 We will assume you have a working Electrum client, a wallet and some
296 transactions history. You should start the client and click on the green
297 checkmark (last button on the right of the status bar) to open the Server
298 selection window. If your server is public, you should see it in the list
299 and you can select it. If you server is private, you need to enter its IP
300 or hostname and the port. Press Ok, the client will disconnect from the
301 current server and connect to your new Electrum server. You should see your
302 addresses and transactions history. You can see the number of blocks and
303 response time in the Server selection window. You should send/receive some
304 bitcoins to confirm that everything is working properly.