build-support/factor.sh

   1 #!/usr/bin/env bash
   2
   3 # Programs returning != 0 will not cause script to exit
   4 set +e
   5
   6 # Case insensitive string comparison
   7 shopt -s nocaseglob
   8 #shopt -s nocasematch
   9
  10 ECHO=echo
  11 OS=
  12 ARCH=
  13 WORD=
  14 NO_UI=${NO_UI-}
  15 GIT_PROTOCOL=${GIT_PROTOCOL:="git"}
  16 GIT_URL=${GIT_URL:=$GIT_PROTOCOL"://factorcode.org/git/factor.git"}
  17 SCRIPT_ARGS="$*"
  18
  19 test_program_installed() {
  20     if ! [[ -n `type -p $1` ]] ; then
  21         return 0;
  22     fi
  23     return 1;
  24 }
  25
  26 exit_script() {
  27     if [[ $FIND_MAKE_TARGET = true ]] ; then
  28         # Must be echo not $ECHO
  29         echo $MAKE_TARGET;
  30     fi
  31     exit $1
  32 }
  33
  34 ensure_program_installed() {
  35     installed=0;
  36     for i in $* ;
  37     do
  38         $ECHO -n "Checking for $i..."
  39         test_program_installed $i
  40         if [[ $? -eq 0 ]]; then
  41             $ECHO -n "not "
  42         else
  43             installed=$(( $installed + 1 ))
  44         fi
  45         $ECHO "found!"
  46     done
  47     if [[ $installed -eq 0 ]] ; then
  48         $ECHO -n "Install "
  49         if [[ $# -eq 1 ]] ; then
  50             $ECHO -n $1
  51         else
  52             $ECHO -n "any of [ $* ]"
  53         fi
  54         $ECHO " and try again."
  55         exit_script 1;
  56     fi
  57 }
  58
  59 check_ret() {
  60     RET=$?
  61     if [[ $RET -ne 0 ]] ; then
  62        $ECHO $1 failed
  63        exit_script 2
  64     fi
  65 }
  66
  67 set_downloader() {
  68     test_program_installed wget curl
  69     if [[ $? -ne 0 ]] ; then
  70         DOWNLOADER=wget
  71     else
  72         DOWNLOADER="curl -f -O"
  73     fi
  74 }
  75
  76 set_md5sum() {
  77     test_program_installed md5sum
  78     if [[ $? -ne 0 ]] ; then
  79         MD5SUM=md5sum
  80     else
  81         MD5SUM="md5 -r"
  82     fi
  83 }
  84
  85 set_gcc() {
  86     case $OS in
  87         openbsd) ensure_program_installed egcc; CC=egcc;;
  88         *) CC=gcc;;
  89     esac
  90 }
  91
  92 set_make() {
  93     case $OS in
  94         netbsd) MAKE='gmake';;
  95         freebsd) MAKE='gmake';;
  96         openbsd) MAKE='gmake';;
  97         dragonflybsd) MAKE='gmake';;
  98         *) MAKE='make';;
  99     esac
 100     if [[ $MAKE = 'gmake' ]] ; then
 101         ensure_program_installed gmake
 102     fi
 103 }
 104
 105 check_installed_programs() {
 106     ensure_program_installed chmod
 107     ensure_program_installed uname
 108     ensure_program_installed git
 109     ensure_program_installed wget curl
 110     ensure_program_installed gcc
 111     ensure_program_installed g++ cl
 112     ensure_program_installed make gmake
 113     ensure_program_installed md5sum md5
 114     ensure_program_installed cut
 115 }
 116
 117 check_library_exists() {
 118     GCC_TEST=factor-library-test.c
 119     GCC_OUT=factor-library-test.out
 120     $ECHO -n "Checking for library $1..."
 121     $ECHO "int main(){return 0;}" > $GCC_TEST
 122     $CC $GCC_TEST -o $GCC_OUT -l $1 2>&-
 123     if [[ $? -ne 0 ]] ; then
 124         $ECHO "not found!"
 125         $ECHO "***Factor will compile NO_UI=1"
 126         NO_UI=1
 127     else
 128         $ECHO "found."
 129     fi
 130     $DELETE -f $GCC_TEST
 131     check_ret $DELETE
 132     $DELETE -f $GCC_OUT
 133     check_ret $DELETE
 134 }
 135
 136 check_X11_libraries() {
 137     if [ -z "$NO_UI" ]; then
 138         check_library_exists GL
 139         check_library_exists X11
 140         check_library_exists pango-1.0
 141     fi
 142 }
 143
 144 check_gtk_libraries() {
 145     if [ -z "$NO_UI" ]; then
 146         check_library_exists gobject-2.0
 147         check_library_exists gtk-x11-2.0
 148         check_library_exists gdk-x11-2.0
 149         check_library_exists gdk_pixbuf-2.0
 150         check_library_exists gtkglext-x11-1.0
 151         check_library_exists atk-1.0
 152         check_library_exists gio-2.0
 153         check_library_exists gdkglext-x11-1.0
 154         check_library_exists pango-1.0
 155     fi
 156 }
 157
 158
 159 check_libraries() {
 160     case $OS in
 161             linux) check_X11_libraries
 162                    check_gtk_libraries;;
 163             unix) check_gtk_libraries;;
 164     esac
 165 }
 166
 167 check_factor_exists() {
 168     if [[ -d "factor" ]] ; then
 169         $ECHO "A directory called 'factor' already exists."
 170         $ECHO "Rename or delete it and try again."
 171         exit_script 4
 172     fi
 173 }
 174
 175 find_os() {
 176     if [[ -n $OS ]] ; then return; fi
 177     $ECHO "Finding OS..."
 178     uname_s=`uname -s`
 179     check_ret uname
 180     case $uname_s in
 181         CYGWIN_NT-5.2-WOW64) OS=winnt;;
 182         *CYGWIN_NT*) OS=winnt;;
 183         *CYGWIN*) OS=winnt;;
 184         MINGW32*) OS=winnt;;
 185         *darwin*) OS=macosx;;
 186         *Darwin*) OS=macosx;;
 187         *linux*) OS=linux;;
 188         *Linux*) OS=linux;;
 189         *NetBSD*) OS=netbsd;;
 190         *FreeBSD*) OS=freebsd;;
 191         *OpenBSD*) OS=openbsd;;
 192         *DragonFly*) OS=dragonflybsd;;
 193         SunOS) OS=solaris;;
 194     esac
 195 }
 196
 197 find_architecture() {
 198     if [[ -n $ARCH ]] ; then return; fi
 199     $ECHO "Finding ARCH..."
 200     uname_m=`uname -m`
 201     check_ret uname
 202     case $uname_m in
 203        i386) ARCH=x86;;
 204        i686) ARCH=x86;;
 205        i86pc) ARCH=x86;;
 206        amd64) ARCH=x86;;
 207        ppc64) ARCH=ppc;;
 208        *86) ARCH=x86;;
 209        *86_64) ARCH=x86;;
 210        "Power Macintosh") ARCH=ppc;;
 211     esac
 212 }
 213
 214 write_test_program() {
 215     #! Must be 'echo'
 216     echo "#include <stdio.h>" > $C_WORD.c
 217     echo "int main(){printf(\"%ld\", (long)(8*sizeof(void*))); return 0; }" >> $C_WORD.c
 218 }
 219
 220 c_find_word_size() {
 221     $ECHO "Finding WORD..."
 222     C_WORD=factor-word-size
 223     write_test_program
 224     gcc -o $C_WORD $C_WORD.c
 225     WORD=$(./$C_WORD)
 226     check_ret $C_WORD
 227     $DELETE -f $C_WORD*
 228 }
 229
 230 intel_macosx_word_size() {
 231     ensure_program_installed sysctl
 232     $ECHO -n "Testing if your Intel Mac supports 64bit binaries..."
 233     sysctl machdep.cpu.extfeatures | grep EM64T >/dev/null
 234     if [[ $? -eq 0 ]] ; then
 235         WORD=64
 236         $ECHO "yes!"
 237     else
 238         WORD=32
 239         $ECHO "no."
 240     fi
 241 }
 242
 243 find_word_size() {
 244     if [[ -n $WORD ]] ; then return; fi
 245     if [[ $OS == macosx && $ARCH == x86 ]] ; then
 246         intel_macosx_word_size
 247     else
 248         c_find_word_size
 249     fi
 250 }
 251
 252 set_factor_binary() {
 253     case $OS in
 254         winnt) FACTOR_BINARY=factor.com;;
 255         *) FACTOR_BINARY=factor;;
 256     esac
 257 }
 258
 259 set_factor_library() {
 260     case $OS in
 261         winnt) FACTOR_LIBRARY=factor.dll;;
 262         macosx) FACTOR_LIBRARY=libfactor.dylib;;
 263         *) FACTOR_LIBRARY=libfactor.a;;
 264     esac
 265 }
 266
 267 set_factor_image() {
 268     FACTOR_IMAGE=factor.image
 269     FACTOR_IMAGE_FRESH=factor.image.fresh
 270 }
 271
 272 echo_build_info() {
 273     $ECHO OS=$OS
 274     $ECHO ARCH=$ARCH
 275     $ECHO WORD=$WORD
 276     $ECHO FACTOR_BINARY=$FACTOR_BINARY
 277     $ECHO FACTOR_LIBRARY=$FACTOR_LIBRARY
 278     $ECHO FACTOR_IMAGE=$FACTOR_IMAGE
 279     $ECHO MAKE_TARGET=$MAKE_TARGET
 280     $ECHO BOOT_IMAGE=$BOOT_IMAGE
 281     $ECHO MAKE_IMAGE_TARGET=$MAKE_IMAGE_TARGET
 282     $ECHO GIT_PROTOCOL=$GIT_PROTOCOL
 283     $ECHO GIT_URL=$GIT_URL
 284     $ECHO DOWNLOADER=$DOWNLOADER
 285     $ECHO CC=$CC
 286     $ECHO MAKE=$MAKE
 287     $ECHO COPY=$COPY
 288     $ECHO DELETE=$DELETE
 289 }
 290
 291 check_os_arch_word() {
 292     if ! [[ -n $OS && -n $ARCH && -n $WORD ]] ; then
 293         $ECHO "OS: $OS"
 294         $ECHO "ARCH: $ARCH"
 295         $ECHO "WORD: $WORD"
 296         $ECHO "OS, ARCH, or WORD is empty.  Please report this."
 297
 298         $ECHO $MAKE_TARGET
 299         exit_script 5
 300     fi
 301 }
 302
 303 set_build_info() {
 304     check_os_arch_word
 305     if [[ $OS == macosx && $ARCH == ppc ]] ; then
 306         MAKE_IMAGE_TARGET=macosx-ppc
 307         MAKE_TARGET=macosx-ppc
 308     elif [[ $OS == linux && $ARCH == ppc ]] ; then
 309         MAKE_IMAGE_TARGET=linux-ppc.32
 310         MAKE_TARGET=linux-ppc-32
 311     elif [[ $OS == winnt && $ARCH == x86 && $WORD == 64 ]] ; then
 312         MAKE_IMAGE_TARGET=winnt-x86.64
 313         MAKE_TARGET=winnt-x86-64
 314     elif [[ $OS == winnt && $ARCH == x86 && $WORD == 32 ]] ; then
 315         MAKE_IMAGE_TARGET=winnt-x86.32
 316         MAKE_TARGET=winnt-x86-32
 317     elif [[ $ARCH == x86 && $WORD == 64 ]] ; then
 318         MAKE_IMAGE_TARGET=unix-x86.64
 319         MAKE_TARGET=$OS-x86-64
 320     elif [[ $ARCH == x86 && $WORD == 32 ]] ; then
 321         MAKE_IMAGE_TARGET=unix-x86.32
 322         MAKE_TARGET=$OS-x86-32
 323     else
 324         MAKE_IMAGE_TARGET=$ARCH.$WORD
 325         MAKE_TARGET=$OS-$ARCH-$WORD
 326     fi
 327     BOOT_IMAGE=boot.$MAKE_IMAGE_TARGET.image
 328 }
 329
 330 parse_build_info() {
 331     ensure_program_installed cut
 332     $ECHO "Parsing make target from command line: $1"
 333     OS=`echo $1 | cut -d '-' -f 1`
 334     ARCH=`echo $1 | cut -d '-' -f 2`
 335     WORD=`echo $1 | cut -d '-' -f 3`
 336
 337     if [[ $OS == linux && $ARCH == ppc ]] ; then WORD=32; fi
 338     if [[ $OS == linux && $ARCH == arm ]] ; then WORD=32; fi
 339     if [[ $OS == macosx && $ARCH == ppc ]] ; then WORD=32; fi
 340     if [[ $OS == wince && $ARCH == arm ]] ; then WORD=32; fi
 341
 342     $ECHO "OS=$OS"
 343     $ECHO "ARCH=$ARCH"
 344     $ECHO "WORD=$WORD"
 345 }
 346
 347 find_build_info() {
 348     find_os
 349     find_architecture
 350     find_word_size
 351     set_factor_binary
 352     set_factor_library
 353     set_factor_image
 354     set_build_info
 355     set_downloader
 356     set_gcc
 357     set_make
 358     echo_build_info
 359 }
 360
 361 invoke_git() {
 362     git $*
 363     check_ret git
 364 }
 365
 366 git_clone() {
 367     $ECHO "Downloading the git repository from factorcode.org..."
 368     invoke_git clone $GIT_URL
 369 }
 370
 371 update_script_name() {
 372     $ECHO `dirname $0`/_update.sh
 373 }
 374
 375 update_script() {
 376     update_script=`update_script_name`
 377     bash_path=`which bash`
 378     $ECHO "#!$bash_path" >"$update_script"
 379     $ECHO "git pull \"$GIT_URL\" master" >>"$update_script"
 380     $ECHO "if [[ \$? -eq 0 ]]; then exec \"$0\" $SCRIPT_ARGS; else echo \"git pull failed\"; exit 2; fi" \
 381         >>"$update_script"
 382     $ECHO "exit 0" >>"$update_script"
 383
 384     chmod 755 "$update_script"
 385     exec "$update_script"
 386 }
 387
 388 update_script_changed() {
 389     invoke_git diff --stat `invoke_git merge-base HEAD FETCH_HEAD` FETCH_HEAD | grep 'build-support.factor\.sh' >/dev/null
 390 }
 391
 392 git_fetch_factorcode() {
 393     $ECHO "Fetching the git repository from factorcode.org..."
 394
 395     rm -f `update_script_name`
 396     invoke_git fetch "$GIT_URL" master
 397
 398     if update_script_changed; then
 399         $ECHO "Updating and restarting the factor.sh script..."
 400         update_script
 401     else
 402         $ECHO "Updating the working tree..."
 403         invoke_git pull "$GIT_URL" master
 404     fi
 405 }
 406
 407 cd_factor() {
 408     cd factor
 409     check_ret cd
 410 }
 411
 412 set_copy() {
 413     case $OS in
 414         winnt) COPY=cp;;
 415         *) COPY=cp;;
 416     esac
 417 }
 418
 419 set_delete() {
 420     case $OS in
 421         winnt) DELETE=rm;;
 422         *) DELETE=rm;;
 423     esac
 424 }
 425
 426 backup_factor() {
 427     $ECHO "Backing up factor..."
 428     $COPY $FACTOR_BINARY $FACTOR_BINARY.bak
 429     $COPY $FACTOR_LIBRARY $FACTOR_LIBRARY.bak
 430     $COPY $BOOT_IMAGE $BOOT_IMAGE.bak
 431     $COPY $FACTOR_IMAGE $FACTOR_IMAGE.bak
 432     $ECHO "Done with backup."
 433 }
 434
 435 check_makefile_exists() {
 436     if [[ ! -e "GNUmakefile" ]] ; then
 437         $ECHO ""
 438         $ECHO "***GNUmakefile not found***"
 439         $ECHO "You are likely in the wrong directory."
 440         $ECHO "Run this script from your factor directory:"
 441         $ECHO "     ./build-support/factor.sh"
 442         exit_script 6
 443     fi
 444 }
 445
 446 invoke_make() {
 447     check_makefile_exists
 448     $MAKE $MAKE_OPTS $*
 449     check_ret $MAKE
 450 }
 451
 452 make_clean() {
 453     invoke_make clean
 454 }
 455
 456 make_factor() {
 457     invoke_make NO_UI=$NO_UI $MAKE_TARGET -j5
 458 }
 459
 460 update_boot_images() {
 461     $ECHO "Deleting old images..."
 462     $DELETE checksums.txt* > /dev/null 2>&1
 463     # delete boot images with one or two characters after the dot
 464     $DELETE $BOOT_IMAGE.{?,??} > /dev/null 2>&1
 465     $DELETE temp/staging.*.image > /dev/null 2>&1
 466     if [[ -f $BOOT_IMAGE ]] ; then
 467         get_url http://downloads.factorcode.org/images/latest/checksums.txt
 468         factorcode_md5=`cat checksums.txt|grep $BOOT_IMAGE|cut -f2 -d' '`;
 469         set_md5sum
 470         case $OS in
 471              netbsd) disk_md5=`md5 $BOOT_IMAGE | cut -f4 -d' '`;;
 472              *) disk_md5=`$MD5SUM $BOOT_IMAGE|cut -f1 -d' '` ;;
 473         esac
 474         $ECHO "Factorcode md5: $factorcode_md5";
 475         $ECHO "Disk md5: $disk_md5";
 476         if [[ "$factorcode_md5" == "$disk_md5" ]] ; then
 477             $ECHO "Your disk boot image matches the one on factorcode.org."
 478         else
 479             $DELETE $BOOT_IMAGE > /dev/null 2>&1
 480             get_boot_image;
 481         fi
 482     else
 483         get_boot_image
 484     fi
 485 }
 486
 487 get_boot_image() {
 488     $ECHO "Downloading boot image $BOOT_IMAGE."
 489     get_url http://downloads.factorcode.org/images/latest/$BOOT_IMAGE
 490 }
 491
 492 get_url() {
 493     if [[ -z $DOWNLOADER ]] ; then
 494         set_downloader;
 495     fi
 496     $ECHO $DOWNLOADER $1 ;
 497     $DOWNLOADER $1
 498     check_ret $DOWNLOADER
 499 }
 500
 501 get_config_info() {
 502     find_build_info
 503     check_installed_programs
 504     check_libraries
 505 }
 506
 507 copy_fresh_image() {
 508     $ECHO "Copying $FACTOR_IMAGE to $FACTOR_IMAGE_FRESH..."
 509     $COPY $FACTOR_IMAGE $FACTOR_IMAGE_FRESH
 510 }
 511
 512 bootstrap() {
 513     ./$FACTOR_BINARY -i=$BOOT_IMAGE
 514         copy_fresh_image
 515 }
 516
 517 install() {
 518     check_factor_exists
 519     get_config_info
 520     git_clone
 521     cd_factor
 522     make_factor
 523     get_boot_image
 524     bootstrap
 525 }
 526
 527
 528 update() {
 529     get_config_info
 530     git_fetch_factorcode
 531     backup_factor
 532     make_clean
 533     make_factor
 534 }
 535
 536 update_bootstrap() {
 537     update_boot_images
 538     bootstrap
 539 }
 540
 541 refresh_image() {
 542     ./$FACTOR_BINARY -script -e="USING: vocabs.loader vocabs.refresh system memory ; refresh-all save 0 exit"
 543     check_ret factor
 544 }
 545
 546 make_boot_image() {
 547     ./$FACTOR_BINARY -script -e="\"$MAKE_IMAGE_TARGET\" USING: system bootstrap.image memory ; make-image save 0 exit"
 548     check_ret factor
 549
 550 }
 551
 552 install_deps_linux() {
 553     sudo apt-get --yes install libc6-dev libpango1.0-dev libx11-dev xorg-dev libgtk2.0-dev libgtkglext1-dev wget git-core git-doc rlwrap gcc make
 554     check_ret sudo
 555 }
 556
 557 install_deps_macosx() {
 558     test_program_installed git
 559     if [[ $? -ne 1 ]] ; then
 560         ensure_program_installed yes
 561         $ECHO "git not found."
 562         $ECHO "This script requires either git-core or port."
 563         $ECHO "If it fails, install git-core or port and try again."
 564         ensure_program_installed port
 565         $ECHO "Installing git-core with port...this will take awhile."
 566         yes | sudo port install git-core
 567     fi
 568 }
 569
 570 usage() {
 571     $ECHO "usage: $0 install|install-x11|install-macosx|self-update|quick-update|update|bootstrap|net-bootstrap|make-target|report [optional-target]"
 572     $ECHO "If you are behind a firewall, invoke as:"
 573     $ECHO "env GIT_PROTOCOL=http $0 <command>"
 574     $ECHO ""
 575     $ECHO "Example for overriding the default target:"
 576     $ECHO "    $0 update macosx-x86-32"
 577 }
 578
 579 MAKE_TARGET=unknown
 580
 581 # -n is nonzero length, -z is zero length
 582 if [[ -n "$2" ]] ; then
 583     parse_build_info $2
 584 fi
 585
 586 set_copy
 587 set_delete
 588
 589 case "$1" in
 590     install) install ;;
 591     deps-linux) install_deps_linux ;;
 592     deps-macosx) install_deps_macosx ;;
 593     self-update) update; make_boot_image; bootstrap;;
 594     quick-update) update; refresh_image ;;
 595     update) update; update_bootstrap ;;
 596     bootstrap) get_config_info; bootstrap ;;
 597     report) find_build_info ;;
 598     net-bootstrap) get_config_info; update_boot_images; bootstrap ;;
 599     make-target) FIND_MAKE_TARGET=true; ECHO=false; find_build_info; exit_script ;;
 600     *) usage ;;
 601 esac