src/util.h

   1 // Copyright (c) 2009-2010 Satoshi Nakamoto
   2 // Copyright (c) 2009-2012 The Bitcoin developers
   3 // Distributed under the MIT/X11 software license, see the accompanying
   4 // file COPYING or http://www.opensource.org/licenses/mit-license.php.
   5 #ifndef BITCOIN_UTIL_H
   6 #define BITCOIN_UTIL_H
   7
   8 #include "uint256.h"
   9
  10 #ifndef WIN32
  11 #include <sys/types.h>
  12 #include <sys/time.h>
  13 #include <sys/resource.h>
  14 #endif
  15
  16 #include <map>
  17 #include <vector>
  18 #include <string>
  19
  20 #include <boost/thread.hpp>
  21 #include <boost/filesystem.hpp>
  22 #include <boost/filesystem/path.hpp>
  23 #include <boost/date_time/gregorian/gregorian_types.hpp>
  24 #include <boost/date_time/posix_time/posix_time_types.hpp>
  25
  26 #include <openssl/sha.h>
  27 #include <openssl/ripemd.h>
  28
  29 #include "netbase.h" // for AddTimeData
  30
  31 typedef long long  int64;
  32 typedef unsigned long long  uint64;
  33
  34 static const int64 COIN = 1000000;
  35 static const int64 CENT = 10000;
  36
  37 #define BEGIN(a)            ((char*)&(a))
  38 #define END(a)              ((char*)&((&(a))[1]))
  39 #define UBEGIN(a)           ((unsigned char*)&(a))
  40 #define UEND(a)             ((unsigned char*)&((&(a))[1]))
  41 #define ARRAYLEN(array)     (sizeof(array)/sizeof((array)[0]))
  42
  43 #define UVOIDBEGIN(a)        ((void*)&(a))
  44 #define CVOIDBEGIN(a)        ((const void*)&(a))
  45 #define UINTBEGIN(a)        ((uint32_t*)&(a))
  46 #define CUINTBEGIN(a)        ((const uint32_t*)&(a))
  47
  48 #ifndef PRI64d
  49 #if defined(_MSC_VER) || defined(__MSVCRT__)
  50 #define PRI64d  "I64d"
  51 #define PRI64u  "I64u"
  52 #define PRI64x  "I64x"
  53 #else
  54 #define PRI64d  "lld"
  55 #define PRI64u  "llu"
  56 #define PRI64x  "llx"
  57 #endif
  58 #endif
  59
  60 #ifndef THROW_WITH_STACKTRACE
  61 #define THROW_WITH_STACKTRACE(exception)  \
  62 {                                         \
  63     LogStackTrace();                      \
  64     throw (exception);                    \
  65 }
  66 void LogStackTrace();
  67 #endif
  68
  69
  70 /* Format characters for (s)size_t and ptrdiff_t */
  71 #if defined(_MSC_VER) || defined(__MSVCRT__)
  72   /* (s)size_t and ptrdiff_t have the same size specifier in MSVC:
  73      http://msdn.microsoft.com/en-us/library/tcxf1dw6%28v=vs.100%29.aspx
  74    */
  75   #define PRIszx    "Ix"
  76   #define PRIszu    "Iu"
  77   #define PRIszd    "Id"
  78   #define PRIpdx    "Ix"
  79   #define PRIpdu    "Iu"
  80   #define PRIpdd    "Id"
  81 #else /* C99 standard */
  82   #define PRIszx    "zx"
  83   #define PRIszu    "zu"
  84   #define PRIszd    "zd"
  85   #define PRIpdx    "tx"
  86   #define PRIpdu    "tu"
  87   #define PRIpdd    "td"
  88 #endif
  89
  90 // This is needed because the foreach macro can't get over the comma in pair<t1, t2>
  91 #define PAIRTYPE(t1, t2)    std::pair<t1, t2>
  92
  93 // Align by increasing pointer, must have extra space at end of buffer
  94 template <size_t nBytes, typename T>
  95 T* alignup(T* p)
  96 {
  97     union
  98     {
  99         T* ptr;
 100         size_t n;
 101     } u;
 102     u.ptr = p;
 103     u.n = (u.n + (nBytes-1)) & ~(nBytes-1);
 104     return u.ptr;
 105 }
 106
 107 #ifdef WIN32
 108 #define MSG_NOSIGNAL        0
 109 #define MSG_DONTWAIT        0
 110
 111 #ifndef S_IRUSR
 112 #define S_IRUSR             0400
 113 #define S_IWUSR             0200
 114 #endif
 115 #else
 116 #define MAX_PATH            1024
 117 inline void Sleep(int64 n)
 118 {
 119     /*Boost has a year 2038 problem— if the request sleep time is past epoch+2^31 seconds the sleep returns instantly.
 120       So we clamp our sleeps here to 10 years and hope that boost is fixed by 2028.*/
 121     boost::thread::sleep(boost::get_system_time() + boost::posix_time::milliseconds(n>315576000000LL?315576000000LL:n));
 122 }
 123 #endif
 124
 125 /* This GNU C extension enables the compiler to check the format string against the parameters provided.
 126  * X is the number of the "format string" parameter, and Y is the number of the first variadic parameter.
 127  * Parameters count from 1.
 128  */
 129 #ifdef __GNUC__
 130 #define ATTR_WARN_PRINTF(X,Y) __attribute__((format(printf,X,Y)))
 131 #else
 132 #define ATTR_WARN_PRINTF(X,Y)
 133 #endif
 134
 135
 136
 137
 138
 139
 140
 141
 142 extern std::map<std::string, std::string> mapArgs;
 143 extern std::map<std::string, std::vector<std::string> > mapMultiArgs;
 144 extern bool fDebug;
 145 extern bool fDebugNet;
 146 extern bool fPrintToConsole;
 147 extern bool fPrintToDebugger;
 148 extern bool fRequestShutdown;
 149 extern bool fShutdown;
 150 extern bool fDaemon;
 151 extern bool fServer;
 152 extern bool fCommandLine;
 153 extern std::string strMiscWarning;
 154 extern bool fTestNet;
 155 extern bool fNoListen;
 156 extern bool fLogTimestamps;
 157 extern bool fReopenDebugLog;
 158
 159 void RandAddSeed();
 160 void RandAddSeedPerfmon();
 161 int ATTR_WARN_PRINTF(1,2) OutputDebugStringF(const char* pszFormat, ...);
 162
 163 /*
 164   Rationale for the real_strprintf / strprintf construction:
 165     It is not allowed to use va_start with a pass-by-reference argument.
 166     (C++ standard, 18.7, paragraph 3). Use a dummy argument to work around this, and use a
 167     macro to keep similar semantics.
 168 */
 169
 170 /** Overload strprintf for char*, so that GCC format type warnings can be given */
 171 std::string ATTR_WARN_PRINTF(1,3) real_strprintf(const char *format, int dummy, ...);
 172 /** Overload strprintf for std::string, to be able to use it with _ (translation).
 173  * This will not support GCC format type warnings (-Wformat) so be careful.
 174  */
 175 std::string real_strprintf(const std::string &format, int dummy, ...);
 176 #define strprintf(format, ...) real_strprintf(format, 0, __VA_ARGS__)
 177 std::string vstrprintf(const char *format, va_list ap);
 178
 179 bool ATTR_WARN_PRINTF(1,2) error(const char *format, ...);
 180
 181 /* Redefine printf so that it directs output to debug.log
 182  *
 183  * Do this *after* defining the other printf-like functions, because otherwise the
 184  * __attribute__((format(printf,X,Y))) gets expanded to __attribute__((format(OutputDebugStringF,X,Y)))
 185  * which confuses gcc.
 186  */
 187 #define printf OutputDebugStringF
 188
 189 void LogException(std::exception* pex, const char* pszThread);
 190 void PrintException(std::exception* pex, const char* pszThread);
 191 void PrintExceptionContinue(std::exception* pex, const char* pszThread);
 192 void ParseString(const std::string& str, char c, std::vector<std::string>& v);
 193 std::string FormatMoney(int64 n, bool fPlus=false);
 194 bool ParseMoney(const std::string& str, int64& nRet);
 195 bool ParseMoney(const char* pszIn, int64& nRet);
 196 std::vector<unsigned char> ParseHex(const char* psz);
 197 std::vector<unsigned char> ParseHex(const std::string& str);
 198 bool IsHex(const std::string& str);
 199 std::vector<unsigned char> DecodeBase64(const char* p, bool* pfInvalid = NULL);
 200 std::string DecodeBase64(const std::string& str);
 201 std::string EncodeBase64(const unsigned char* pch, size_t len);
 202 std::string EncodeBase64(const std::string& str);
 203 std::vector<unsigned char> DecodeBase32(const char* p, bool* pfInvalid = NULL);
 204 std::string DecodeBase32(const std::string& str);
 205 std::string EncodeBase32(const unsigned char* pch, size_t len);
 206 std::string EncodeBase32(const std::string& str);
 207 std::string EncodeDumpTime(int64 nTime);
 208 int64 DecodeDumpTime(const std::string& s);
 209 std::string EncodeDumpString(const std::string &str);
 210 std::string DecodeDumpString(const std::string &str);
 211 void ParseParameters(int argc, const char*const argv[]);
 212 bool WildcardMatch(const char* psz, const char* mask);
 213 bool WildcardMatch(const std::string& str, const std::string& mask);
 214 void FileCommit(FILE *fileout);
 215 int GetFilesize(FILE* file);
 216 bool RenameOver(boost::filesystem::path src, boost::filesystem::path dest);
 217 boost::filesystem::path GetDefaultDataDir();
 218 const boost::filesystem::path &GetDataDir(bool fNetSpecific = true);
 219 boost::filesystem::path GetConfigFile();
 220 boost::filesystem::path GetPidFile();
 221 #ifndef WIN32
 222 void CreatePidFile(const boost::filesystem::path &path, pid_t pid);
 223 #endif
 224 void ReadConfigFile(std::map<std::string, std::string>& mapSettingsRet, std::map<std::string, std::vector<std::string> >& mapMultiSettingsRet);
 225 #ifdef WIN32
 226 boost::filesystem::path GetSpecialFolderPath(int nFolder, bool fCreate = true);
 227 #endif
 228 void ShrinkDebugFile();
 229 int GetRandInt(int nMax);
 230 uint64 GetRand(uint64 nMax);
 231 uint256 GetRandHash();
 232 int64 GetTime();
 233 void SetMockTime(int64 nMockTimeIn);
 234 int64 GetAdjustedTime();
 235 int64 GetTimeOffset();
 236 std::string FormatFullVersion();
 237 std::string FormatSubVersion(const std::string& name, int nClientVersion, const std::vector<std::string>& comments);
 238 void AddTimeData(const CNetAddr& ip, int64 nTime);
 239 void runCommand(std::string strCommand);
 240
 241
 242
 243
 244
 245
 246
 247
 248
 249 inline std::string i64tostr(int64 n)
 250 {
 251     return strprintf("%"PRI64d, n);
 252 }
 253
 254 inline std::string itostr(int n)
 255 {
 256     return strprintf("%d", n);
 257 }
 258
 259 inline int64 atoi64(const char* psz)
 260 {
 261 #ifdef _MSC_VER
 262     return _atoi64(psz);
 263 #else
 264     return strtoll(psz, NULL, 10);
 265 #endif
 266 }
 267
 268 inline int64 atoi64(const std::string& str)
 269 {
 270 #ifdef _MSC_VER
 271     return _atoi64(str.c_str());
 272 #else
 273     return strtoll(str.c_str(), NULL, 10);
 274 #endif
 275 }
 276
 277 inline int atoi(const std::string& str)
 278 {
 279     return atoi(str.c_str());
 280 }
 281
 282 inline int roundint(double d)
 283 {
 284     return (int)(d > 0 ? d + 0.5 : d - 0.5);
 285 }
 286
 287 inline int64 roundint64(double d)
 288 {
 289     return (int64)(d > 0 ? d + 0.5 : d - 0.5);
 290 }
 291
 292 inline int64 abs64(int64 n)
 293 {
 294     return (n >= 0 ? n : -n);
 295 }
 296
 297 inline std::string leftTrim(std::string src, char chr)
 298 {
 299     std::string::size_type pos = src.find_first_not_of(chr, 0);
 300
 301     if(pos > 0)
 302         src.erase(0, pos);
 303
 304     return src;
 305 }
 306
 307 template<typename T>
 308 std::string HexStr(const T itbegin, const T itend, bool fSpaces=false)
 309 {
 310     std::string rv;
 311     static const char hexmap[16] = { '0', '1', '2', '3', '4', '5', '6', '7',
 312                                      '8', '9', 'a', 'b', 'c', 'd', 'e', 'f' };
 313     rv.reserve((itend-itbegin)*3);
 314     for(T it = itbegin; it < itend; ++it)
 315     {
 316         unsigned char val = (unsigned char)(*it);
 317         if(fSpaces && it != itbegin)
 318             rv.push_back(' ');
 319         rv.push_back(hexmap[val>>4]);
 320         rv.push_back(hexmap[val&15]);
 321     }
 322
 323     return rv;
 324 }
 325
 326 inline std::string HexStr(const std::vector<unsigned char>& vch, bool fSpaces=false)
 327 {
 328     return HexStr(vch.begin(), vch.end(), fSpaces);
 329 }
 330
 331 template<typename T>
 332 void PrintHex(const T pbegin, const T pend, const char* pszFormat="%s", bool fSpaces=true)
 333 {
 334     printf(pszFormat, HexStr(pbegin, pend, fSpaces).c_str());
 335 }
 336
 337 inline void PrintHex(const std::vector<unsigned char>& vch, const char* pszFormat="%s", bool fSpaces=true)
 338 {
 339     printf(pszFormat, HexStr(vch, fSpaces).c_str());
 340 }
 341
 342 inline int64 GetPerformanceCounter()
 343 {
 344     int64 nCounter = 0;
 345 #ifdef WIN32
 346     QueryPerformanceCounter((LARGE_INTEGER*)&nCounter);
 347 #else
 348     timeval t;
 349     gettimeofday(&t, NULL);
 350     nCounter = (int64) t.tv_sec * 1000000 + t.tv_usec;
 351 #endif
 352     return nCounter;
 353 }
 354
 355 inline int64 GetTimeMillis()
 356 {
 357     return (boost::posix_time::ptime(boost::posix_time::microsec_clock::universal_time()) -
 358             boost::posix_time::ptime(boost::gregorian::date(1970,1,1))).total_milliseconds();
 359 }
 360
 361 inline std::string DateTimeStrFormat(const char* pszFormat, int64 nTime)
 362 {
 363     time_t n = nTime;
 364     struct tm* ptmTime = gmtime(&n);
 365     char pszTime[200];
 366     strftime(pszTime, sizeof(pszTime), pszFormat, ptmTime);
 367     return pszTime;
 368 }
 369
 370 static const std::string strTimestampFormat = "%Y-%m-%d %H:%M:%S UTC";
 371 inline std::string DateTimeStrFormat(int64 nTime)
 372 {
 373     return DateTimeStrFormat(strTimestampFormat.c_str(), nTime);
 374 }
 375
 376
 377 template<typename T>
 378 void skipspaces(T& it)
 379 {
 380     while (isspace(*it))
 381         ++it;
 382 }
 383
 384 inline bool IsSwitchChar(char c)
 385 {
 386 #ifdef WIN32
 387     return c == '-' || c == '/';
 388 #else
 389     return c == '-';
 390 #endif
 391 }
 392
 393 /**
 394  * Return string argument or default value
 395  *
 396  * @param strArg Argument to get (e.g. "-foo")
 397  * @param default (e.g. "1")
 398  * @return command-line argument or default value
 399  */
 400 std::string GetArg(const std::string& strArg, const std::string& strDefault);
 401
 402 /**
 403  * Return integer argument or default value
 404  *
 405  * @param strArg Argument to get (e.g. "-foo")
 406  * @param default (e.g. 1)
 407  * @return command-line argument (0 if invalid number) or default value
 408  */
 409 int64 GetArg(const std::string& strArg, int64 nDefault);
 410
 411 /**
 412  * Return boolean argument or default value
 413  *
 414  * @param strArg Argument to get (e.g. "-foo")
 415  * @param default (true or false)
 416  * @return command-line argument or default value
 417  */
 418 bool GetBoolArg(const std::string& strArg, bool fDefault=false);
 419
 420 /**
 421  * Set an argument if it doesn't already have a value
 422  *
 423  * @param strArg Argument to set (e.g. "-foo")
 424  * @param strValue Value (e.g. "1")
 425  * @return true if argument gets set, false if it already had a value
 426  */
 427 bool SoftSetArg(const std::string& strArg, const std::string& strValue);
 428
 429 /**
 430  * Set a boolean argument if it doesn't already have a value
 431  *
 432  * @param strArg Argument to set (e.g. "-foo")
 433  * @param fValue Value (e.g. false)
 434  * @return true if argument gets set, false if it already had a value
 435  */
 436 bool SoftSetBoolArg(const std::string& strArg, bool fValue);
 437
 438
 439
 440
 441
 442
 443
 444
 445
 446 template<typename T1>
 447 inline uint256 Hash(const T1 pbegin, const T1 pend)
 448 {
 449     static unsigned char pblank[1];
 450     uint256 hash1;
 451     SHA256((pbegin == pend ? pblank : (unsigned char*)&pbegin[0]), (pend - pbegin) * sizeof(pbegin[0]), (unsigned char*)&hash1);
 452     uint256 hash2;
 453     SHA256((unsigned char*)&hash1, sizeof(hash1), (unsigned char*)&hash2);
 454     return hash2;
 455 }
 456
 457 class CHashWriter
 458 {
 459 private:
 460     SHA256_CTX ctx;
 461
 462 public:
 463     int nType;
 464     int nVersion;
 465
 466     void Init() {
 467         SHA256_Init(&ctx);
 468     }
 469
 470     CHashWriter(int nTypeIn, int nVersionIn) : nType(nTypeIn), nVersion(nVersionIn) {
 471         Init();
 472     }
 473
 474     CHashWriter& write(const char *pch, size_t size) {
 475         SHA256_Update(&ctx, pch, size);
 476         return (*this);
 477     }
 478
 479     // invalidates the object
 480     uint256 GetHash() {
 481         uint256 hash1;
 482         SHA256_Final((unsigned char*)&hash1, &ctx);
 483         uint256 hash2;
 484         SHA256((unsigned char*)&hash1, sizeof(hash1), (unsigned char*)&hash2);
 485         return hash2;
 486     }
 487
 488     template<typename T>
 489     CHashWriter& operator<<(const T& obj) {
 490         // Serialize to this stream
 491         ::Serialize(*this, obj, nType, nVersion);
 492         return (*this);
 493     }
 494 };
 495
 496
 497 template<typename T1, typename T2>
 498 inline uint256 Hash(const T1 p1begin, const T1 p1end,
 499                     const T2 p2begin, const T2 p2end)
 500 {
 501     static unsigned char pblank[1];
 502     uint256 hash1;
 503     SHA256_CTX ctx;
 504     SHA256_Init(&ctx);
 505     SHA256_Update(&ctx, (p1begin == p1end ? pblank : (unsigned char*)&p1begin[0]), (p1end - p1begin) * sizeof(p1begin[0]));
 506     SHA256_Update(&ctx, (p2begin == p2end ? pblank : (unsigned char*)&p2begin[0]), (p2end - p2begin) * sizeof(p2begin[0]));
 507     SHA256_Final((unsigned char*)&hash1, &ctx);
 508     uint256 hash2;
 509     SHA256((unsigned char*)&hash1, sizeof(hash1), (unsigned char*)&hash2);
 510     return hash2;
 511 }
 512
 513 template<typename T1, typename T2, typename T3>
 514 inline uint256 Hash(const T1 p1begin, const T1 p1end,
 515                     const T2 p2begin, const T2 p2end,
 516                     const T3 p3begin, const T3 p3end)
 517 {
 518     static unsigned char pblank[1];
 519     uint256 hash1;
 520     SHA256_CTX ctx;
 521     SHA256_Init(&ctx);
 522     SHA256_Update(&ctx, (p1begin == p1end ? pblank : (unsigned char*)&p1begin[0]), (p1end - p1begin) * sizeof(p1begin[0]));
 523     SHA256_Update(&ctx, (p2begin == p2end ? pblank : (unsigned char*)&p2begin[0]), (p2end - p2begin) * sizeof(p2begin[0]));
 524     SHA256_Update(&ctx, (p3begin == p3end ? pblank : (unsigned char*)&p3begin[0]), (p3end - p3begin) * sizeof(p3begin[0]));
 525     SHA256_Final((unsigned char*)&hash1, &ctx);
 526     uint256 hash2;
 527     SHA256((unsigned char*)&hash1, sizeof(hash1), (unsigned char*)&hash2);
 528     return hash2;
 529 }
 530
 531 template<typename T>
 532 uint256 SerializeHash(const T& obj, int nType=SER_GETHASH, int nVersion=PROTOCOL_VERSION)
 533 {
 534     CHashWriter ss(nType, nVersion);
 535     ss << obj;
 536     return ss.GetHash();
 537 }
 538
 539 inline uint160 Hash160(const std::vector<unsigned char>& vch)
 540 {
 541     uint256 hash1;
 542     SHA256(&vch[0], vch.size(), (unsigned char*)&hash1);
 543     uint160 hash2;
 544     RIPEMD160((unsigned char*)&hash1, sizeof(hash1), (unsigned char*)&hash2);
 545     return hash2;
 546 }
 547
 548 /**
 549  * Timing-attack-resistant comparison.
 550  * Takes time proportional to length
 551  * of first argument.
 552  */
 553 template <typename T>
 554 bool TimingResistantEqual(const T& a, const T& b)
 555 {
 556     if (b.size() == 0) return a.size() == 0;
 557     size_t accumulator = a.size() ^ b.size();
 558     for (size_t i = 0; i < a.size(); i++)
 559         accumulator |= a[i] ^ b[i%b.size()];
 560     return accumulator == 0;
 561 }
 562
 563 /** Median filter over a stream of values.
 564  * Returns the median of the last N numbers
 565  */
 566 template <typename T> class CMedianFilter
 567 {
 568 private:
 569     std::vector<T> vValues;
 570     std::vector<T> vSorted;
 571     unsigned int nSize;
 572 public:
 573     CMedianFilter(unsigned int size, T initial_value):
 574         nSize(size)
 575     {
 576         vValues.reserve(size);
 577         vValues.push_back(initial_value);
 578         vSorted = vValues;
 579     }
 580
 581     void input(T value)
 582     {
 583         if(vValues.size() == nSize)
 584         {
 585             vValues.erase(vValues.begin());
 586         }
 587         vValues.push_back(value);
 588
 589         vSorted.resize(vValues.size());
 590         std::copy(vValues.begin(), vValues.end(), vSorted.begin());
 591         std::sort(vSorted.begin(), vSorted.end());
 592     }
 593
 594     T median() const
 595     {
 596         int size = vSorted.size();
 597         assert(size>0);
 598         if(size & 1) // Odd number of elements
 599         {
 600             return vSorted[size/2];
 601         }
 602         else // Even number of elements
 603         {
 604             return (vSorted[size/2-1] + vSorted[size/2]) / 2;
 605         }
 606     }
 607
 608     int size() const
 609     {
 610         return vValues.size();
 611     }
 612
 613     std::vector<T> sorted () const
 614     {
 615         return vSorted;
 616     }
 617 };
 618
 619 bool NewThread(void(*pfn)(void*), void* parg);
 620
 621 #ifdef WIN32
 622 inline void SetThreadPriority(int nPriority)
 623 {
 624     SetThreadPriority(GetCurrentThread(), nPriority);
 625 }
 626 #else
 627
 628 #define THREAD_PRIORITY_LOWEST          PRIO_MAX
 629 #define THREAD_PRIORITY_BELOW_NORMAL    2
 630 #define THREAD_PRIORITY_NORMAL          0
 631 #define THREAD_PRIORITY_ABOVE_NORMAL    0
 632
 633 inline void SetThreadPriority(int nPriority)
 634 {
 635     // It's unclear if it's even possible to change thread priorities on Linux,
 636     // but we really and truly need it for the generation threads.
 637 #ifdef PRIO_THREAD
 638     setpriority(PRIO_THREAD, 0, nPriority);
 639 #else
 640     setpriority(PRIO_PROCESS, 0, nPriority);
 641 #endif
 642 }
 643
 644 inline void ExitThread(size_t nExitCode)
 645 {
 646     pthread_exit((void*)nExitCode);
 647 }
 648 #endif
 649
 650 void RenameThread(const char* name);
 651
 652 inline uint32_t ByteReverse(uint32_t value)
 653 {
 654     value = ((value & 0xFF00FF00) >> 8) | ((value & 0x00FF00FF) << 8);
 655     return (value<<16) | (value>>16);
 656 }
 657
 658 #endif
 659