basis/cpu/x86/bootstrap.factor

   1 ! Copyright (C) 2007, 2009 Slava Pestov.
   2 ! See http://factorcode.org/license.txt for BSD license.
   3 USING: bootstrap.image.private compiler.constants
   4 compiler.units cpu.x86.assembler cpu.x86.assembler.operands
   5 kernel kernel.private layouts locals.backend make math
   6 math.private namespaces sequences slots.private vocabs ;
   7 IN: bootstrap.x86
   8
   9 big-endian off
  10
  11 [
  12     ! Load word
  13     temp0 0 MOV rc-absolute-cell rt-literal jit-rel
  14     ! Bump profiling counter
  15     temp0 profile-count-offset [+] 1 tag-fixnum ADD
  16     ! Load word->code
  17     temp0 temp0 word-code-offset [+] MOV
  18     ! Compute word XT
  19     temp0 compiled-header-size ADD
  20     ! Jump to XT
  21     temp0 JMP
  22 ] jit-profiling jit-define
  23
  24 [
  25     ! load literal
  26     temp0 0 MOV rc-absolute-cell rt-literal jit-rel
  27     ! increment datastack pointer
  28     ds-reg bootstrap-cell ADD
  29     ! store literal on datastack
  30     ds-reg [] temp0 MOV
  31 ] jit-push jit-define
  32
  33 [
  34     temp3 0 MOV rc-absolute-cell rt-here jit-rel
  35     0 JMP rc-relative rt-xt-pic-tail jit-rel
  36 ] jit-word-jump jit-define
  37
  38 [
  39     0 CALL rc-relative rt-xt-pic jit-rel
  40 ] jit-word-call jit-define
  41
  42 [
  43     ! load boolean
  44     temp0 ds-reg [] MOV
  45     ! pop boolean
  46     ds-reg bootstrap-cell SUB
  47     ! compare boolean with f
  48     temp0 \ f type-number CMP
  49     ! jump to true branch if not equal
  50     0 JNE rc-relative rt-xt jit-rel
  51     ! jump to false branch if equal
  52     0 JMP rc-relative rt-xt jit-rel
  53 ] jit-if jit-define
  54
  55 : jit->r ( -- )
  56     rs-reg bootstrap-cell ADD
  57     temp0 ds-reg [] MOV
  58     ds-reg bootstrap-cell SUB
  59     rs-reg [] temp0 MOV ;
  60
  61 : jit-2>r ( -- )
  62     rs-reg 2 bootstrap-cells ADD
  63     temp0 ds-reg [] MOV
  64     temp1 ds-reg -1 bootstrap-cells [+] MOV
  65     ds-reg 2 bootstrap-cells SUB
  66     rs-reg [] temp0 MOV
  67     rs-reg -1 bootstrap-cells [+] temp1 MOV ;
  68
  69 : jit-3>r ( -- )
  70     rs-reg 3 bootstrap-cells ADD
  71     temp0 ds-reg [] MOV
  72     temp1 ds-reg -1 bootstrap-cells [+] MOV
  73     temp2 ds-reg -2 bootstrap-cells [+] MOV
  74     ds-reg 3 bootstrap-cells SUB
  75     rs-reg [] temp0 MOV
  76     rs-reg -1 bootstrap-cells [+] temp1 MOV
  77     rs-reg -2 bootstrap-cells [+] temp2 MOV ;
  78
  79 : jit-r> ( -- )
  80     ds-reg bootstrap-cell ADD
  81     temp0 rs-reg [] MOV
  82     rs-reg bootstrap-cell SUB
  83     ds-reg [] temp0 MOV ;
  84
  85 : jit-2r> ( -- )
  86     ds-reg 2 bootstrap-cells ADD
  87     temp0 rs-reg [] MOV
  88     temp1 rs-reg -1 bootstrap-cells [+] MOV
  89     rs-reg 2 bootstrap-cells SUB
  90     ds-reg [] temp0 MOV
  91     ds-reg -1 bootstrap-cells [+] temp1 MOV ;
  92
  93 : jit-3r> ( -- )
  94     ds-reg 3 bootstrap-cells ADD
  95     temp0 rs-reg [] MOV
  96     temp1 rs-reg -1 bootstrap-cells [+] MOV
  97     temp2 rs-reg -2 bootstrap-cells [+] MOV
  98     rs-reg 3 bootstrap-cells SUB
  99     ds-reg [] temp0 MOV
 100     ds-reg -1 bootstrap-cells [+] temp1 MOV
 101     ds-reg -2 bootstrap-cells [+] temp2 MOV ;
 102
 103 [
 104     jit->r
 105     0 CALL rc-relative rt-xt jit-rel
 106     jit-r>
 107 ] jit-dip jit-define
 108
 109 [
 110     jit-2>r
 111     0 CALL rc-relative rt-xt jit-rel
 112     jit-2r>
 113 ] jit-2dip jit-define
 114
 115 [
 116     jit-3>r
 117     0 CALL rc-relative rt-xt jit-rel
 118     jit-3r>
 119 ] jit-3dip jit-define
 120
 121 [
 122     ! load from stack
 123     temp0 ds-reg [] MOV
 124     ! pop stack
 125     ds-reg bootstrap-cell SUB
 126 ]
 127 [ temp0 word-xt-offset [+] CALL ]
 128 [ temp0 word-xt-offset [+] JMP ]
 129 \ (execute) define-sub-primitive*
 130
 131 [
 132     temp0 ds-reg [] MOV
 133     ds-reg bootstrap-cell SUB
 134     temp0 word-xt-offset [+] JMP
 135 ] jit-execute jit-define
 136
 137 [
 138     stack-reg stack-frame-size bootstrap-cell - ADD
 139 ] jit-epilog jit-define
 140
 141 [ 0 RET ] jit-return jit-define
 142
 143 ! ! ! Polymorphic inline caches
 144
 145 ! The PIC stubs are not permitted to touch temp3.
 146
 147 ! Load a value from a stack position
 148 [
 149     temp1 ds-reg HEX: ffffffff [+] MOV rc-absolute rt-untagged jit-rel
 150 ] pic-load jit-define
 151
 152 ! Tag
 153 : load-tag ( -- )
 154     temp1 tag-mask get AND
 155     temp1 tag-bits get SHL ;
 156
 157 [ load-tag ] pic-tag jit-define
 158
 159 ! The 'make' trick lets us compute the jump distance for the
 160 ! conditional branches there
 161
 162 ! Tuple
 163 [
 164     temp0 temp1 MOV
 165     load-tag
 166     temp1 tuple type-number tag-fixnum CMP
 167     [ JNE ]
 168     [ temp1 temp0 tuple type-number neg bootstrap-cell + [+] MOV ]
 169     jit-conditional
 170 ] pic-tuple jit-define
 171
 172 [
 173     temp1 HEX: ffffffff CMP rc-absolute rt-literal jit-rel
 174 ] pic-check-tag jit-define
 175
 176 [
 177     temp2 HEX: ffffffff MOV rc-absolute-cell rt-literal jit-rel
 178     temp1 temp2 CMP
 179 ] pic-check-tuple jit-define
 180
 181 [ 0 JE rc-relative rt-xt jit-rel ] pic-hit jit-define
 182
 183 ! ! ! Megamorphic caches
 184
 185 [
 186     ! cache = ...
 187     temp0 0 MOV rc-absolute-cell rt-literal jit-rel
 188     ! key = hashcode(class)
 189     temp2 temp1 MOV
 190     bootstrap-cell 4 = [ temp2 1 SHR ] when
 191     ! key &= cache.length - 1
 192     temp2 mega-cache-size get 1 - bootstrap-cell * AND
 193     ! cache += array-start-offset
 194     temp0 array-start-offset ADD
 195     ! cache += key
 196     temp0 temp2 ADD
 197     ! if(get(cache) == class)
 198     temp0 [] temp1 CMP
 199     bootstrap-cell 4 = 14 22 ? JNE ! Yuck!
 200     ! megamorphic_cache_hits++
 201     temp1 0 MOV rc-absolute-cell rt-megamorphic-cache-hits jit-rel
 202     temp1 [] 1 ADD
 203     ! goto get(cache + bootstrap-cell)
 204     temp0 temp0 bootstrap-cell [+] MOV
 205     temp0 word-xt-offset [+] JMP
 206     ! fall-through on miss
 207 ] mega-lookup jit-define
 208
 209 [
 210     safe-reg 0 MOV rc-absolute-cell rt-xt jit-rel
 211     safe-reg JMP
 212 ] callback-stub jit-define
 213
 214 ! ! ! Sub-primitives
 215
 216 ! Objects
 217 [
 218     ! load from stack
 219     temp0 ds-reg [] MOV
 220     ! compute tag
 221     temp0 tag-mask get AND
 222     ! tag the tag
 223     temp0 tag-bits get SHL
 224     ! push to stack
 225     ds-reg [] temp0 MOV
 226 ] \ tag define-sub-primitive
 227
 228 [
 229     ! load slot number
 230     temp0 ds-reg [] MOV
 231     ! adjust stack pointer
 232     ds-reg bootstrap-cell SUB
 233     ! load object
 234     temp1 ds-reg [] MOV
 235     ! turn slot number into offset
 236     fixnum>slot@
 237     ! mask off tag
 238     temp1 tag-bits get SHR
 239     temp1 tag-bits get SHL
 240     ! load slot value
 241     temp0 temp1 temp0 [+] MOV
 242     ! push to stack
 243     ds-reg [] temp0 MOV
 244 ] \ slot define-sub-primitive
 245
 246 ! Shufflers
 247 [
 248     ds-reg bootstrap-cell SUB
 249 ] \ drop define-sub-primitive
 250
 251 [
 252     ds-reg 2 bootstrap-cells SUB
 253 ] \ 2drop define-sub-primitive
 254
 255 [
 256     ds-reg 3 bootstrap-cells SUB
 257 ] \ 3drop define-sub-primitive
 258
 259 [
 260     temp0 ds-reg [] MOV
 261     ds-reg bootstrap-cell ADD
 262     ds-reg [] temp0 MOV
 263 ] \ dup define-sub-primitive
 264
 265 [
 266     temp0 ds-reg [] MOV
 267     temp1 ds-reg bootstrap-cell neg [+] MOV
 268     ds-reg 2 bootstrap-cells ADD
 269     ds-reg [] temp0 MOV
 270     ds-reg bootstrap-cell neg [+] temp1 MOV
 271 ] \ 2dup define-sub-primitive
 272
 273 [
 274     temp0 ds-reg [] MOV
 275     temp1 ds-reg -1 bootstrap-cells [+] MOV
 276     temp3 ds-reg -2 bootstrap-cells [+] MOV
 277     ds-reg 3 bootstrap-cells ADD
 278     ds-reg [] temp0 MOV
 279     ds-reg -1 bootstrap-cells [+] temp1 MOV
 280     ds-reg -2 bootstrap-cells [+] temp3 MOV
 281 ] \ 3dup define-sub-primitive
 282
 283 [
 284     temp0 ds-reg [] MOV
 285     ds-reg bootstrap-cell SUB
 286     ds-reg [] temp0 MOV
 287 ] \ nip define-sub-primitive
 288
 289 [
 290     temp0 ds-reg [] MOV
 291     ds-reg 2 bootstrap-cells SUB
 292     ds-reg [] temp0 MOV
 293 ] \ 2nip define-sub-primitive
 294
 295 [
 296     temp0 ds-reg -1 bootstrap-cells [+] MOV
 297     ds-reg bootstrap-cell ADD
 298     ds-reg [] temp0 MOV
 299 ] \ over define-sub-primitive
 300
 301 [
 302     temp0 ds-reg -2 bootstrap-cells [+] MOV
 303     ds-reg bootstrap-cell ADD
 304     ds-reg [] temp0 MOV
 305 ] \ pick define-sub-primitive
 306
 307 [
 308     temp0 ds-reg [] MOV
 309     temp1 ds-reg -1 bootstrap-cells [+] MOV
 310     ds-reg [] temp1 MOV
 311     ds-reg bootstrap-cell ADD
 312     ds-reg [] temp0 MOV
 313 ] \ dupd define-sub-primitive
 314
 315 [
 316     temp0 ds-reg [] MOV
 317     temp1 ds-reg bootstrap-cell neg [+] MOV
 318     ds-reg bootstrap-cell neg [+] temp0 MOV
 319     ds-reg [] temp1 MOV
 320 ] \ swap define-sub-primitive
 321
 322 [
 323     temp0 ds-reg -1 bootstrap-cells [+] MOV
 324     temp1 ds-reg -2 bootstrap-cells [+] MOV
 325     ds-reg -2 bootstrap-cells [+] temp0 MOV
 326     ds-reg -1 bootstrap-cells [+] temp1 MOV
 327 ] \ swapd define-sub-primitive
 328
 329 [
 330     temp0 ds-reg [] MOV
 331     temp1 ds-reg -1 bootstrap-cells [+] MOV
 332     temp3 ds-reg -2 bootstrap-cells [+] MOV
 333     ds-reg -2 bootstrap-cells [+] temp1 MOV
 334     ds-reg -1 bootstrap-cells [+] temp0 MOV
 335     ds-reg [] temp3 MOV
 336 ] \ rot define-sub-primitive
 337
 338 [
 339     temp0 ds-reg [] MOV
 340     temp1 ds-reg -1 bootstrap-cells [+] MOV
 341     temp3 ds-reg -2 bootstrap-cells [+] MOV
 342     ds-reg -2 bootstrap-cells [+] temp0 MOV
 343     ds-reg -1 bootstrap-cells [+] temp3 MOV
 344     ds-reg [] temp1 MOV
 345 ] \ -rot define-sub-primitive
 346
 347 [ jit->r ] \ load-local define-sub-primitive
 348
 349 ! Comparisons
 350 : jit-compare ( insn -- )
 351     ! load t
 352     t jit-literal
 353     temp3 0 MOV rc-absolute-cell rt-literal jit-rel
 354     ! load f
 355     temp1 \ f type-number MOV
 356     ! load first value
 357     temp0 ds-reg [] MOV
 358     ! adjust stack pointer
 359     ds-reg bootstrap-cell SUB
 360     ! compare with second value
 361     ds-reg [] temp0 CMP
 362     ! move t if true
 363     [ temp1 temp3 ] dip execute( dst src -- )
 364     ! store
 365     ds-reg [] temp1 MOV ;
 366
 367 : define-jit-compare ( insn word -- )
 368     [ [ jit-compare ] curry ] dip define-sub-primitive ;
 369
 370 \ CMOVE \ eq? define-jit-compare
 371 \ CMOVGE \ fixnum>= define-jit-compare
 372 \ CMOVLE \ fixnum<= define-jit-compare
 373 \ CMOVG \ fixnum> define-jit-compare
 374 \ CMOVL \ fixnum< define-jit-compare
 375
 376 ! Math
 377 : jit-math ( insn -- )
 378     ! load second input
 379     temp0 ds-reg [] MOV
 380     ! pop stack
 381     ds-reg bootstrap-cell SUB
 382     ! compute result
 383     [ ds-reg [] temp0 ] dip execute( dst src -- ) ;
 384
 385 [ \ ADD jit-math ] \ fixnum+fast define-sub-primitive
 386
 387 [ \ SUB jit-math ] \ fixnum-fast define-sub-primitive
 388
 389 [
 390     ! load second input
 391     temp0 ds-reg [] MOV
 392     ! pop stack
 393     ds-reg bootstrap-cell SUB
 394     ! load first input
 395     temp1 ds-reg [] MOV
 396     ! untag second input
 397     temp0 tag-bits get SAR
 398     ! multiply
 399     temp0 temp1 IMUL2
 400     ! push result
 401     ds-reg [] temp1 MOV
 402 ] \ fixnum*fast define-sub-primitive
 403
 404 [ \ AND jit-math ] \ fixnum-bitand define-sub-primitive
 405
 406 [ \ OR jit-math ] \ fixnum-bitor define-sub-primitive
 407
 408 [ \ XOR jit-math ] \ fixnum-bitxor define-sub-primitive
 409
 410 [
 411     ! complement
 412     ds-reg [] NOT
 413     ! clear tag bits
 414     ds-reg [] tag-mask get XOR
 415 ] \ fixnum-bitnot define-sub-primitive
 416
 417 [
 418     ! load shift count
 419     shift-arg ds-reg [] MOV
 420     ! untag shift count
 421     shift-arg tag-bits get SAR
 422     ! adjust stack pointer
 423     ds-reg bootstrap-cell SUB
 424     ! load value
 425     temp3 ds-reg [] MOV
 426     ! make a copy
 427     temp1 temp3 MOV
 428     ! compute positive shift value in temp1
 429     temp1 CL SHL
 430     shift-arg NEG
 431     ! compute negative shift value in temp3
 432     temp3 CL SAR
 433     temp3 tag-mask get bitnot AND
 434     shift-arg 0 CMP
 435     ! if shift count was negative, move temp0 to temp1
 436     temp1 temp3 CMOVGE
 437     ! push to stack
 438     ds-reg [] temp1 MOV
 439 ] \ fixnum-shift-fast define-sub-primitive
 440
 441 : jit-fixnum-/mod ( -- )
 442     ! load second parameter
 443     temp3 ds-reg [] MOV
 444     ! load first parameter
 445     div-arg ds-reg bootstrap-cell neg [+] MOV
 446     ! make a copy
 447     mod-arg div-arg MOV
 448     ! sign-extend
 449     mod-arg bootstrap-cell-bits 1 - SAR
 450     ! divide
 451     temp3 IDIV ;
 452
 453 [
 454     jit-fixnum-/mod
 455     ! adjust stack pointer
 456     ds-reg bootstrap-cell SUB
 457     ! push to stack
 458     ds-reg [] mod-arg MOV
 459 ] \ fixnum-mod define-sub-primitive
 460
 461 [
 462     jit-fixnum-/mod
 463     ! adjust stack pointer
 464     ds-reg bootstrap-cell SUB
 465     ! tag it
 466     div-arg tag-bits get SHL
 467     ! push to stack
 468     ds-reg [] div-arg MOV
 469 ] \ fixnum/i-fast define-sub-primitive
 470
 471 [
 472     jit-fixnum-/mod
 473     ! tag it
 474     div-arg tag-bits get SHL
 475     ! push to stack
 476     ds-reg [] mod-arg MOV
 477     ds-reg bootstrap-cell neg [+] div-arg MOV
 478 ] \ fixnum/mod-fast define-sub-primitive
 479
 480 [
 481     temp0 ds-reg [] MOV
 482     ds-reg bootstrap-cell SUB
 483     temp0 ds-reg [] OR
 484     temp0 tag-mask get AND
 485     temp0 \ f type-number MOV
 486     temp1 1 tag-fixnum MOV
 487     temp0 temp1 CMOVE
 488     ds-reg [] temp0 MOV
 489 ] \ both-fixnums? define-sub-primitive
 490
 491 [
 492     ! load local number
 493     temp0 ds-reg [] MOV
 494     ! turn local number into offset
 495     fixnum>slot@
 496     ! load local value
 497     temp0 rs-reg temp0 [+] MOV
 498     ! push to stack
 499     ds-reg [] temp0 MOV
 500 ] \ get-local define-sub-primitive
 501
 502 [
 503     ! load local count
 504     temp0 ds-reg [] MOV
 505     ! adjust stack pointer
 506     ds-reg bootstrap-cell SUB
 507     ! turn local number into offset
 508     fixnum>slot@
 509     ! decrement retain stack pointer
 510     rs-reg temp0 SUB
 511 ] \ drop-locals define-sub-primitive
 512
 513 [ "bootstrap.x86" forget-vocab ] with-compilation-unit