fix indent for bitcoind code listing and mark specific checkout for abe
[electrum-server.git] / HOWTO.md
index 3c659ba..333a4b4 100644 (file)
--- a/HOWTO.md
+++ b/HOWTO.md
@@ -12,7 +12,7 @@ requirements.
 
 The most up-to date version of this document is available at:
 
-    https://gitorious.org/electrum/server/blobs/master/HOWTO
+    https://github.com/spesmilo/electrum-server/blob/master/HOWTO.md
 
 Conventions
 -----------
@@ -34,14 +34,14 @@ should be copied verbatim or adapted, without the indentation tab.
 Prerequisites
 -------------
 
-**Expertise.** You should be familiar with Linux command line and standard
-Linux commands. You should have basic understanding of git, Python packages,
-compiling and applying patches to source code. You should have knowledge
-about how to install and configure software on your Linux distribution. You
-should be able to add commands to your distribution's startup scripts. If
-one of the commands included in this document is not available or does not
-perform the operation described here, you are expected to fix the issue so
-you can continue following this howto.
+**Expertise.** You should be familiar with Linux command line and
+standard Linux commands. You should have basic understanding of git,
+Python packages. You should have knowledge about how to install and
+configure software on your Linux distribution. You should be able to
+add commands to your distribution's startup scripts. If one of the
+commands included in this document is not available or does not
+perform the operation described here, you are expected to fix the
+issue so you can continue following this howto.
 
 **Software.** A recent Linux distribution with the following software
 installed: `python`, `easy_install`, `git`, a SQL server, standard C/C++
@@ -49,14 +49,17 @@ build chain. You will need root access in order to install other software or
 Python libraries. You will need access to the SQL server to create users and
 databases.
 
-**Hardware.** Running a Bitcoin node and Electrum server is
-resource-intensive. At the time of this writing, the Bitcoin blockchain is
-3.5 GB large. The corresponding SQL database is about 4 time larger, so you
-should have a minimum of 14 GB free space. You should expect the total size
-to grow with time. CPU speed is also important, mostly for the initial block
-chain import, but also if you plan to run a public Electrum server, which
-could serve tens of concurrent requests. See step 6 below for some initial
-import benchmarks.
+**Hardware.** It's recommended to run a pruning server with leveldb.
+It is a light setup with diskspace requirements well under 1 GB growing 
+very moderately and less taxing on I/O and CPU once it's up and running. 
+Full (archival) servers on the other hand use SQL. At the time of this writing, 
+the Bitcoin blockchain is 5.5 GB large. The corresponding SQL database is 
+about 4 times larger, so you should have a minimum of 22 GB free space just 
+for SQL, growing continuously. 
+CPU speed is also important, mostly for the initial block chain import, but 
+also if you plan to run a public Electrum server, which could serve tens 
+of concurrent requests. See step 6 below for some initial import benchmarks 
+on SQL.
 
 Instructions
 ------------
@@ -86,29 +89,19 @@ our ~/bin directory:
 
     $ mkdir -p ~/src/electrum
     $ cd ~/src/electrum
-    $ git://gitorious.org/electrum/server.git
+    $ git clone https://github.com/spesmilo/electrum-server.git server
     $ chmod +x ~/src/electrum/server/server.py
     $ ln -s ~/src/electrum/server/server.py ~/bin/electrum
 
-### Step 2. Install a patched version of bitcoind
+### Step 2. Download Bitcoind from git & patch it
 
-Electrum server requires some small modifications to the bitcoind daemon.
-The patch is included in the Electrum sources we just downloaded, now we
-will download the Bitcoin sources, patch, compile and install the binary to
-our `~/bin` directory.
+In order for the latest versions of Electrum to work properly we will need to use the latest 
+build from Git and also patch it with an electrum specific patch.
 
-Note that updated versions may affect these instructions, so *be mindful of 
-what you are doing!*
-
-    $ cd ~/src
-    $ wget https://github.com/bitcoin/bitcoin/tarball/v0.6.0 -O bitcoin-0.6.0.tgz
-    $ tar xvzf bitcoin-0.6.0.tgz
-    $ mv bitcoin-bitcoin-b3b5ab1 bitcoin-0.6.0
-    $ cd bitcoin-0.6.0/src
-    $ patch -p 2 < ~/src/electrum/server/patches/bitcoin-0.6.0.diff
-    $ make -f makefile.unix
-    $ strip bitcoind
-    $ mv bitcoind ~/bin
+    $ cd src && git clone git://github.com/bitcoin/bitcoin.git
+    $ cd bitcoin 
+    $ patch -p1 < ~/src/electrum/server/patch/patch
+    $ cd src && make -f makefile.unix
 
 ### Step 3. Configure and start bitcoind
 
@@ -138,7 +131,36 @@ You should also set up your system to automatically start bitcoind at boot
 time, running as the 'bitcoin' user. Check your system documentation to
 find out the best way to do this.
 
-### Step 4. Install Electrum dependencies
+
+### Step 4. Select your backend - pruning leveldb or full abe server
+
+Electrum server can currently be operated in two modes - as a pruning server
+or as a full server. The pruning server uses leveldb and keeps a smaller and
+faster database by pruning spent transactions. It's a lot quicker to get up
+and running and requires less maintenance and diskspace than the full abe
+server.
+
+The full version uses abe as a backend. While the blockchain in bitcoind
+is at roughly 5.5 GB in January 2013, the abe mysql for a full server requires
+~25 GB diskspace for innodb and can take a week or two (!) to freshly index 
+on most but the fastest of hardware.
+
+Full servers are useful for recovering all past transactions when restoring 
+from seed. Those are then stored in electrum.dat and won't need to be recovered
+until electrum.dat is removed. Pruning servers summarize spent transactions
+when restoring from seed which can be feature. Once seed recovery is done
+switching between pruning and full servers can be done at any time without effect
+to the transaction history stored in electrum.dat.
+
+While it's useful for Electrum to have a number of full servers it is 
+expected that the vast majority of servers available publicly will be 
+pruning servers.
+
+If you decide to setup a pruning server with leveldb take a break from this 
+document, read and work through README.leveldb then come back
+install jsonrcp (but not abe) from step 5 and then skip to step 8
+
+### Step 5. Install Electrum dependencies
 
 Electrum server depends on various standard Python libraries. These will be
 already installed on your distribution, or can be installed with your
@@ -147,17 +169,22 @@ l need to install "by hand": `Abe` and `JSONRPClib`.
 
     $ sudo easy_install jsonrpclib
     $ cd ~/src
-    $ git clone git://github.com/jtobey/bitcoin-abe.git
+    $ git clone https://github.com/jtobey/bitcoin-abe
     $ cd bitcoin-abe
+    $ git checkout c2a9969e20305faa41c40ae47533f2138f222ffc
     $ sudo python setup.py install
 
+Electrum server does not currently support abe 0.7.2+ so please stick 
+with a specific commit between 0.7.1 and 0.7.2 for the time being.
+
 Please note that the path below might be slightly different on your system,
 for example python2.6 or 2.8.
 
     $ sudo chmod +x /usr/local/lib/python2.7/dist-packages/Abe/abe.py
     $ ln -s /usr/local/lib/python2.7/dist-packages/Abe/abe.py ~/bin/abe
 
-### Step 5. Configure the database
+
+### Step 6. Configure the database
 
 Electrum server uses a SQL database to store the blockchain data. In theory,
 it supports all databases supported by Abe. At the time of this writing,
@@ -176,7 +203,7 @@ For PostgreSQL:
 
     TBW!
 
-### Step 6. Configure Abe and import blockchain into the database
+### Step 7. Configure Abe and import blockchain into the database
 
 When you run Electrum server for the first time, it will automatically
 import the blockchain into the database, so it is safe to skip this step.
@@ -215,7 +242,7 @@ for the initial import.
 
 Important notice: This is a *very* long process. Even on fast machines,
 expect it to take hours. Here are some benchmarks for importing
-~196K blocks (size of the Bitcoin blockchain at the time of this writing):
+~196K blocks (size of the Bitcoin blockchain in Septeber 2012):
 
   * System 1: ~9 hours.
          * CPU: Intel Core i7 Q740 @ 1.73GHz
@@ -224,7 +251,7 @@ expect it to take hours. Here are some benchmarks for importing
          * CPU: Intel Xeon X3430 @ 2.40GHz
          * HDD: 2 x SATA in a RAID1.
 
-### Step 7. Configure Electrum server
+### Step 8. Configure Electrum server
 
 Electrum reads a config file (/etc/electrum.conf) when starting up. This
 file includes the database setup, bitcoind RPC setup, and a few other
@@ -233,52 +260,18 @@ options.
     $ sudo cp ~/src/electrum/server/electrum.conf.sample /etc/electrum.conf
     $ sudo $EDITOR /etc/electrum.conf
 
-Write this in `electrum.conf`:
-
-    # sample config for a public Electrum server       
-    [server]
-    host = host-fqdn
-    native_port = 50000
-    stratum_tcp_port:50001
-    stratum_http_port:8081
-    password = <electrum-server-password>
-    banner = Welcome to Electrum server!
-    irc = yes
-    cache = yes
-
-    # sample config for a private server (does not advertise on IRC)
-    [server]
-    host = localhost
-    native_port = 50000
-    stratum_tcp_port:50001
-    stratum_http_port:8081
-    password = <electrum-server-password>
-    banner = Welcome to my private Electrum server!
-    irc = no
-    cache = yes
-
-    # database setup - MySQL
-    [database]
-    type = MySQLdb
-    database = electrum
-    username = electrum
-    password = <database-password>
-
-    # database setup - PostgreSQL
-    TBD!
+Go through the sample config options and set them to your liking.
+If you intend to run the server publicly have a look at README-IRC.md 
 
-    # bitcoind RPC setup
-    [bitcoind]
-    host = localhost
-    port = 8332
-    user = <rpc-username>
-    password = <rpc-password>
+If you're looking to run SSL / HTTPS you need to generate a self-signed certificate
+using openssl. Otherwise you can just comment out the SSL / HTTPS ports and run 
+without.
 
-### Step 8. (Finally!) Run Electrum server
+### Step 9. (Finally!) Run Electrum server
 
 The magic moment has come: you can now start your Electrum server:
 
-    $ electrum-server
+    $ server
 
 You should see this on the screen:
 
@@ -293,7 +286,7 @@ You should also take a look at the 'start' and 'stop' scripts in
 `~/src/electrum/server`. You can use them as a starting point to create a
 init script for your system.
 
-### 9. Test the Electrum server
+### Step 10. Test the Electrum server
 
 We will assume you have a working Electrum client, a wallet and some
 transactions history. You should start the client and click on the green
@@ -305,3 +298,9 @@ current server and connect to your new Electrum server. You should see your
 addresses and transactions history. You can see the number of blocks and
 response time in the Server selection window. You should send/receive some
 bitcoins to confirm that everything is working properly.
+
+### Step 11. Join us on IRC
+
+Say hi to the dev crew, other server operators and fans on 
+irc.freenode.net #electrum and we'll try to congratulate you
+on supporting the community by running an Electrum node