fix download link to bitcoind
[electrum-server.git] / HOWTO.md
index 333a4b4..9384b68 100644 (file)
--- a/HOWTO.md
+++ b/HOWTO.md
@@ -44,27 +44,26 @@ perform the operation described here, you are expected to fix the
 issue so you can continue following this howto.
 
 **Software.** A recent Linux distribution with the following software
-installed: `python`, `easy_install`, `git`, a SQL server, standard C/C++
+installed: `python`, `easy_install`, `git`, standard C/C++
 build chain. You will need root access in order to install other software or
-Python libraries. You will need access to the SQL server to create users and
-databases.
-
-**Hardware.** It's recommended to run a pruning server with leveldb.
-It is a light setup with diskspace requirements well under 1 GB growing 
-very moderately and less taxing on I/O and CPU once it's up and running. 
-Full (archival) servers on the other hand use SQL. At the time of this writing, 
-the Bitcoin blockchain is 5.5 GB large. The corresponding SQL database is 
-about 4 times larger, so you should have a minimum of 22 GB free space just 
-for SQL, growing continuously. 
-CPU speed is also important, mostly for the initial block chain import, but 
-also if you plan to run a public Electrum server, which could serve tens 
-of concurrent requests. See step 6 below for some initial import benchmarks 
-on SQL.
+Python libraries. 
+
+**Hardware.** The lightest setup is a pruning server with diskspace 
+requirements well under 1 GB growing very moderately and less taxing 
+on I/O and CPU once it's up and running. However note that you also need
+to run bitcoind and keep a copy of the full blockchain, which is roughly
+9 GB in April 2013. If you have less than 2 GB of RAM make sure you limit
+bitcoind to 8 concurrent connections. If you have more ressources to 
+spare you can run the server with a higher limit of historic transactions 
+per address. CPU speed is also important, mostly for the initial block 
+chain import, but also if you plan to run a public Electrum server, which 
+could serve tens of concurrent requests. Any multi-core x86 CPU ~2009 or
+newer other than Atom should do for good performance.
 
 Instructions
 ------------
 
-### Step 0. Create a user for running bitcoind and Electrum server
+### Step 1. Create a user for running bitcoind and Electrum server
 
 This step is optional, but for better security and resource separation I
 suggest you create a separate user just for running `bitcoind` and Electrum.
@@ -82,7 +81,7 @@ to your `.bashrc`, `.profile` or `.bash_profile`, then logout and relogin:
 
     PATH="$HOME/bin:$PATH"
 
-### Step 1. Download and install Electrum
+### Step 2. Download and install Electrum
 
 We will download the latest git snapshot for Electrum and 'install' it in
 our ~/bin directory:
@@ -93,17 +92,19 @@ our ~/bin directory:
     $ chmod +x ~/src/electrum/server/server.py
     $ ln -s ~/src/electrum/server/server.py ~/bin/electrum
 
-### Step 2. Download Bitcoind from git & patch it
+### Step 3. Download Bitcoind stable from git & patch it
 
-In order for the latest versions of Electrum to work properly we will need to use the latest 
-build from Git and also patch it with an electrum specific patch.
+In order for the latest versions of Electrum to work properly we will need to use 
+bitcoind 0.8.1 stable or higher. It can be downloaded from github and 
+it needs to be patched with an electrum specific patch.
 
-    $ cd src && git clone git://github.com/bitcoin/bitcoin.git
-    $ cd bitcoin 
+    $ cd src && wget http://sourceforge.net/projects/bitcoin/files/Bitcoin/bitcoin-0.8.1/bitcoin-0.8.1-linux.tar.gz
+    $ tar xfz bitcoin-0.8.1-linux.tar.gz
+    $ cd bitcoin-0.8.1-linux
     $ patch -p1 < ~/src/electrum/server/patch/patch
-    $ cd src && make -f makefile.unix
+    $ cd src && make USE_UPNP= -f makefile.unix
 
-### Step 3. Configure and start bitcoind
+### Step 4. Configure and start bitcoind
 
 In order to allow Electrum to "talk" to `bitcoind`, we need to set up a RPC
 username and password for `bitcoind`. We will then start `bitcoind` and
@@ -131,127 +132,65 @@ You should also set up your system to automatically start bitcoind at boot
 time, running as the 'bitcoin' user. Check your system documentation to
 find out the best way to do this.
 
-
-### Step 4. Select your backend - pruning leveldb or full abe server
-
-Electrum server can currently be operated in two modes - as a pruning server
-or as a full server. The pruning server uses leveldb and keeps a smaller and
-faster database by pruning spent transactions. It's a lot quicker to get up
-and running and requires less maintenance and diskspace than the full abe
-server.
-
-The full version uses abe as a backend. While the blockchain in bitcoind
-is at roughly 5.5 GB in January 2013, the abe mysql for a full server requires
-~25 GB diskspace for innodb and can take a week or two (!) to freshly index 
-on most but the fastest of hardware.
-
-Full servers are useful for recovering all past transactions when restoring 
-from seed. Those are then stored in electrum.dat and won't need to be recovered
-until electrum.dat is removed. Pruning servers summarize spent transactions
-when restoring from seed which can be feature. Once seed recovery is done
-switching between pruning and full servers can be done at any time without effect
-to the transaction history stored in electrum.dat.
-
-While it's useful for Electrum to have a number of full servers it is 
-expected that the vast majority of servers available publicly will be 
-pruning servers.
-
-If you decide to setup a pruning server with leveldb take a break from this 
-document, read and work through README.leveldb then come back
-install jsonrcp (but not abe) from step 5 and then skip to step 8
-
 ### Step 5. Install Electrum dependencies
 
 Electrum server depends on various standard Python libraries. These will be
 already installed on your distribution, or can be installed with your
-package manager. Electrum also depends on two Python libraries which we wil
-l need to install "by hand": `Abe` and `JSONRPClib`.
+package manager. Electrum also depends on two Python libraries which we will
+need to install "by hand": `JSONRPClib`.
 
     $ sudo easy_install jsonrpclib
-    $ cd ~/src
-    $ git clone https://github.com/jtobey/bitcoin-abe
-    $ cd bitcoin-abe
-    $ git checkout c2a9969e20305faa41c40ae47533f2138f222ffc
-    $ sudo python setup.py install
-
-Electrum server does not currently support abe 0.7.2+ so please stick 
-with a specific commit between 0.7.1 and 0.7.2 for the time being.
-
-Please note that the path below might be slightly different on your system,
-for example python2.6 or 2.8.
-
-    $ sudo chmod +x /usr/local/lib/python2.7/dist-packages/Abe/abe.py
-    $ ln -s /usr/local/lib/python2.7/dist-packages/Abe/abe.py ~/bin/abe
+    $ sudo apt-get install python-openssl
 
+### Step 6. Install leveldb
 
-### Step 6. Configure the database
+    $ sudo apt-get install python-leveldb
+See the steps in README.leveldb for further details, especially if your system
+doesn't have the python-leveldb package.
 
-Electrum server uses a SQL database to store the blockchain data. In theory,
-it supports all databases supported by Abe. At the time of this writing,
-MySQL and PostgreSQL are tested and work ok, SQLite was tested and *does not
-work* with Electrum server.
+### Step 7. Select your limit
 
-For MySQL:
+Electrum server uses leveldb to store transactions. You can choose
+how many spent transactions per address you want to store on the server.
+The default is 100, but there are also servers with 1000 or even 10000.
+Very few addresses have more than 10000 transactions. A limit this high
+can be considered to be equivalent to a "full" server. Full servers previously
+used abe to store the blockchain. The use of abe for electrum servers is now
+deprecated.
 
-    $ mysql -u root -p
-    mysql> create user 'electrum'@'localhost' identified by '<db-password>';
-    mysql> create database electrum;
-    mysql> grant all on electrum.* to 'electrum'@'localhost';
-    mysql> exit
-
-For PostgreSQL:
-
-    TBW!
-
-### Step 7. Configure Abe and import blockchain into the database
-
-When you run Electrum server for the first time, it will automatically
-import the blockchain into the database, so it is safe to skip this step.
-However, our tests showed that, at the time of this writing, importing the
-blockchain via Abe is much faster (about 20-30 times faster) than
-allowing Electrum to do it.
-
-    $ cp ~/src/bitcoin-abe/abe.conf ~/abe.conf
-    $ $EDITOR ~/abe.conf
-
-For MySQL, you need these lines:
-
-    dbtype MySQLdb
-    connect-args = { "db" : "electrum", "user" : "electrum" , "passwd" : "<database-password>" }
-
-For PostgreSQL, you need these lines:
-
-    TBD!
+The pruning server uses leveldb and keeps a smaller and
+faster database by pruning spent transactions. It's a lot quicker to get up
+and running and requires less maintenance and diskspace than abe.
 
-Start Abe:
+The section in the configuration file looks like this:
 
-    $ abe --config ~/abe.conf
+     [leveldb]
+     path = /path/to/your/database
+     # for each address, history will be pruned if it is longer than this limit
+     pruning_limit = 100
 
-Abe will now start to import blocks. You will see a lot of lines like this:
+### Step 8. Import blockchain into the database or download it
 
-    'block_tx <block-number> <tx-number>'
+As of April 2013 it takes between 6-24 hours to import 230k of blocks, depending
+on CPU speed, I/O speed and selected pruning limit.
 
-You should wait until you see this message on the screen:
+It's considerably faster to index in memory. You can use /dev/shm or indexing in RAM
+or create a tmpfs which will also use swap if you run out of memory:
 
-    Listening on http://localhost:2750
+    $ sudo mount -t tmpfs -o rw,nodev,nosuid,noatime,size=6000M,mode=0777 none /tmpfs
 
-It means the blockchain is imported and you can exit Abe by pressing CTRL-C.
-You will not need to run Abe again after this step, Electrum server will
-update the blockchain by itself. We only used Abe because it is much faster
-for the initial import.
+At limit 100 the database comes to 2,6 GB with 230k blocks and takes roughly 6h to import in /dev/shm.
+At limit 1000 the database comes to 3,0 GB with 230k blocks and takes roughly 10h to import in /dev/shm.
+At limit 10000 the database comes to 3,5 GB with 230k blocks and takes roughly 24h to import in /dev/shm.
 
-Important notice: This is a *very* long process. Even on fast machines,
-expect it to take hours. Here are some benchmarks for importing
-~196K blocks (size of the Bitcoin blockchain in Septeber 2012):
+Alternatively you can fetch a pre-processed leveldb from the net
 
-  * System 1: ~9 hours.
-         * CPU: Intel Core i7 Q740 @ 1.73GHz
-         * HDD: very fast SSD
-  * System 2: ~55 hours.
-         * CPU: Intel Xeon X3430 @ 2.40GHz
-         * HDD: 2 x SATA in a RAID1.
+You can fetch recent copies of electrum leveldb databases and further instructions 
+from the Electrum full archival server foundry at:
+http://electrum-foundry.no-ip.org/ 
 
-### Step 8. Configure Electrum server
+### Step 9. Configure Electrum server
 
 Electrum reads a config file (/etc/electrum.conf) when starting up. This
 file includes the database setup, bitcoind RPC setup, and a few other
@@ -267,7 +206,7 @@ If you're looking to run SSL / HTTPS you need to generate a self-signed certific
 using openssl. Otherwise you can just comment out the SSL / HTTPS ports and run 
 without.
 
-### Step 9. (Finally!) Run Electrum server
+### Step 10. (Finally!) Run Electrum server
 
 The magic moment has come: you can now start your Electrum server:
 
@@ -286,7 +225,7 @@ You should also take a look at the 'start' and 'stop' scripts in
 `~/src/electrum/server`. You can use them as a starting point to create a
 init script for your system.
 
-### Step 10. Test the Electrum server
+### Step 11. Test the Electrum server
 
 We will assume you have a working Electrum client, a wallet and some
 transactions history. You should start the client and click on the green
@@ -299,8 +238,14 @@ addresses and transactions history. You can see the number of blocks and
 response time in the Server selection window. You should send/receive some
 bitcoins to confirm that everything is working properly.
 
-### Step 11. Join us on IRC
+### Step 12. Join us on IRC, subscribe to the server thread
 
 Say hi to the dev crew, other server operators and fans on 
 irc.freenode.net #electrum and we'll try to congratulate you
 on supporting the community by running an Electrum node
+
+If you're operating a public Electrum server please subscribe
+to or regulary check the following thread:
+https://bitcointalk.org/index.php?topic=85475.0
+It'll contain announcements about important updates to Electrum
+server required for a smooth user experience.