basis/cpu/x86/bootstrap.factor

   1 ! Copyright (C) 2007, 2010 Slava Pestov.
   2 ! See http://factorcode.org/license.txt for BSD license.
   3 USING: bootstrap.image.private compiler.constants
   4 compiler.units cpu.x86.assembler cpu.x86.assembler.operands
   5 kernel kernel.private layouts locals.backend make math
   6 math.private namespaces sequences slots.private vocabs ;
   7 IN: bootstrap.x86
   8
   9 big-endian off
  10
  11 ! C to Factor entry point
  12 [
  13     ! Optimizing compiler's side of callback accesses
  14     ! arguments that are on the stack via the frame pointer.
  15     ! On x86-32 fastcall, and x86-64, some arguments are passed
  16     ! in registers, and so the only registers that are safe for
  17     ! use here are frame-reg, nv-reg and vm-reg.
  18     frame-reg PUSH
  19     frame-reg stack-reg MOV
  20
  21     ! Save all non-volatile registers
  22     nv-regs [ PUSH ] each
  23
  24     jit-save-tib
  25
  26     ! Load VM into vm-reg
  27     vm-reg 0 MOV rc-absolute-cell rt-vm jit-rel
  28
  29     ! Save old context
  30     nv-reg vm-reg vm-context-offset [+] MOV
  31     nv-reg PUSH
  32
  33     ! Switch over to the spare context
  34     nv-reg vm-reg vm-spare-context-offset [+] MOV
  35     vm-reg vm-context-offset [+] nv-reg MOV
  36
  37     ! Save C callstack pointer
  38     nv-reg context-callstack-save-offset [+] stack-reg MOV
  39
  40     ! Load Factor callstack pointer
  41     stack-reg nv-reg context-callstack-bottom-offset [+] MOV
  42
  43     nv-reg jit-update-tib
  44     jit-install-seh
  45
  46     ! Call into Factor code
  47     nv-reg 0 MOV rc-absolute-cell rt-entry-point jit-rel
  48     nv-reg CALL
  49
  50     ! Load VM into vm-reg; only needed on x86-32, but doesn't
  51     ! hurt on x86-64
  52     vm-reg 0 MOV rc-absolute-cell rt-vm jit-rel
  53
  54     ! Load C callstack pointer
  55     nv-reg vm-reg vm-context-offset [+] MOV
  56     stack-reg nv-reg context-callstack-save-offset [+] MOV
  57
  58     ! Load old context
  59     nv-reg POP
  60     vm-reg vm-context-offset [+] nv-reg MOV
  61
  62     ! Restore non-volatile registers
  63     jit-restore-tib
  64
  65     nv-regs <reversed> [ POP ] each
  66
  67     frame-reg POP
  68
  69     ! Callbacks which return structs, or use stdcall/fastcall/thiscall,
  70     ! need a parameter here.
  71
  72     ! See the comment for M\ x86.32 stack-cleanup in cpu.x86.32
  73     HEX: ffff RET rc-absolute-2 rt-untagged jit-rel
  74 ] callback-stub jit-define
  75
  76 [
  77     ! Load word
  78     temp0 0 MOV rc-absolute-cell rt-literal jit-rel
  79     ! Bump profiling counter
  80     temp0 profile-count-offset [+] 1 tag-fixnum ADD
  81     ! Load word->code
  82     temp0 temp0 word-code-offset [+] MOV
  83     ! Compute word entry point
  84     temp0 compiled-header-size ADD
  85     ! Jump to entry point
  86     temp0 JMP
  87 ] jit-profiling jit-define
  88
  89 [
  90     ! load literal
  91     temp0 0 MOV rc-absolute-cell rt-literal jit-rel
  92     ! increment datastack pointer
  93     ds-reg bootstrap-cell ADD
  94     ! store literal on datastack
  95     ds-reg [] temp0 MOV
  96 ] jit-push jit-define
  97
  98 [
  99     0 CALL rc-relative rt-entry-point-pic jit-rel
 100 ] jit-word-call jit-define
 101
 102 [
 103     ! load boolean
 104     temp0 ds-reg [] MOV
 105     ! pop boolean
 106     ds-reg bootstrap-cell SUB
 107     ! compare boolean with f
 108     temp0 \ f type-number CMP
 109     ! jump to true branch if not equal
 110     0 JNE rc-relative rt-entry-point jit-rel
 111     ! jump to false branch if equal
 112     0 JMP rc-relative rt-entry-point jit-rel
 113 ] jit-if jit-define
 114
 115 : jit->r ( -- )
 116     rs-reg bootstrap-cell ADD
 117     temp0 ds-reg [] MOV
 118     ds-reg bootstrap-cell SUB
 119     rs-reg [] temp0 MOV ;
 120
 121 : jit-2>r ( -- )
 122     rs-reg 2 bootstrap-cells ADD
 123     temp0 ds-reg [] MOV
 124     temp1 ds-reg -1 bootstrap-cells [+] MOV
 125     ds-reg 2 bootstrap-cells SUB
 126     rs-reg [] temp0 MOV
 127     rs-reg -1 bootstrap-cells [+] temp1 MOV ;
 128
 129 : jit-3>r ( -- )
 130     rs-reg 3 bootstrap-cells ADD
 131     temp0 ds-reg [] MOV
 132     temp1 ds-reg -1 bootstrap-cells [+] MOV
 133     temp2 ds-reg -2 bootstrap-cells [+] MOV
 134     ds-reg 3 bootstrap-cells SUB
 135     rs-reg [] temp0 MOV
 136     rs-reg -1 bootstrap-cells [+] temp1 MOV
 137     rs-reg -2 bootstrap-cells [+] temp2 MOV ;
 138
 139 : jit-r> ( -- )
 140     ds-reg bootstrap-cell ADD
 141     temp0 rs-reg [] MOV
 142     rs-reg bootstrap-cell SUB
 143     ds-reg [] temp0 MOV ;
 144
 145 : jit-2r> ( -- )
 146     ds-reg 2 bootstrap-cells ADD
 147     temp0 rs-reg [] MOV
 148     temp1 rs-reg -1 bootstrap-cells [+] MOV
 149     rs-reg 2 bootstrap-cells SUB
 150     ds-reg [] temp0 MOV
 151     ds-reg -1 bootstrap-cells [+] temp1 MOV ;
 152
 153 : jit-3r> ( -- )
 154     ds-reg 3 bootstrap-cells ADD
 155     temp0 rs-reg [] MOV
 156     temp1 rs-reg -1 bootstrap-cells [+] MOV
 157     temp2 rs-reg -2 bootstrap-cells [+] MOV
 158     rs-reg 3 bootstrap-cells SUB
 159     ds-reg [] temp0 MOV
 160     ds-reg -1 bootstrap-cells [+] temp1 MOV
 161     ds-reg -2 bootstrap-cells [+] temp2 MOV ;
 162
 163 [
 164     jit->r
 165     0 CALL rc-relative rt-entry-point jit-rel
 166     jit-r>
 167 ] jit-dip jit-define
 168
 169 [
 170     jit-2>r
 171     0 CALL rc-relative rt-entry-point jit-rel
 172     jit-2r>
 173 ] jit-2dip jit-define
 174
 175 [
 176     jit-3>r
 177     0 CALL rc-relative rt-entry-point jit-rel
 178     jit-3r>
 179 ] jit-3dip jit-define
 180
 181 [
 182     ! load from stack
 183     temp0 ds-reg [] MOV
 184     ! pop stack
 185     ds-reg bootstrap-cell SUB
 186 ]
 187 [ temp0 word-entry-point-offset [+] CALL ]
 188 [ temp0 word-entry-point-offset [+] JMP ]
 189 \ (execute) define-combinator-primitive
 190
 191 [
 192     temp0 ds-reg [] MOV
 193     ds-reg bootstrap-cell SUB
 194     temp0 word-entry-point-offset [+] JMP
 195 ] jit-execute jit-define
 196
 197 [
 198     stack-reg stack-frame-size bootstrap-cell - ADD
 199 ] jit-epilog jit-define
 200
 201 [ 0 RET ] jit-return jit-define
 202
 203 ! ! ! Polymorphic inline caches
 204
 205 ! The PIC stubs are not permitted to touch pic-tail-reg.
 206
 207 ! Load a value from a stack position
 208 [
 209     temp1 ds-reg HEX: ffffffff [+] MOV rc-absolute rt-untagged jit-rel
 210 ] pic-load jit-define
 211
 212 ! Tag
 213 : load-tag ( -- )
 214     temp1 tag-mask get AND
 215     temp1 tag-bits get SHL ;
 216
 217 [ load-tag ] pic-tag jit-define
 218
 219 ! The 'make' trick lets us compute the jump distance for the
 220 ! conditional branches there
 221
 222 ! Tuple
 223 [
 224     temp0 temp1 MOV
 225     load-tag
 226     temp1 tuple type-number tag-fixnum CMP
 227     [ JNE ]
 228     [ temp1 temp0 tuple type-number neg bootstrap-cell + [+] MOV ]
 229     jit-conditional
 230 ] pic-tuple jit-define
 231
 232 [
 233     temp1 HEX: ffffffff CMP rc-absolute rt-literal jit-rel
 234 ] pic-check-tag jit-define
 235
 236 [
 237     temp2 HEX: ffffffff MOV rc-absolute-cell rt-literal jit-rel
 238     temp1 temp2 CMP
 239 ] pic-check-tuple jit-define
 240
 241 [ 0 JE rc-relative rt-entry-point jit-rel ] pic-hit jit-define
 242
 243 ! ! ! Megamorphic caches
 244
 245 [
 246     ! cache = ...
 247     temp0 0 MOV rc-absolute-cell rt-literal jit-rel
 248     ! key = hashcode(class)
 249     temp2 temp1 MOV
 250     bootstrap-cell 4 = [ temp2 1 SHR ] when
 251     ! key &= cache.length - 1
 252     temp2 mega-cache-size get 1 - bootstrap-cell * AND
 253     ! cache += array-start-offset
 254     temp0 array-start-offset ADD
 255     ! cache += key
 256     temp0 temp2 ADD
 257     ! if(get(cache) == class)
 258     temp0 [] temp1 CMP
 259     bootstrap-cell 4 = 14 22 ? JNE ! Yuck!
 260     ! megamorphic_cache_hits++
 261     temp1 0 MOV rc-absolute-cell rt-megamorphic-cache-hits jit-rel
 262     temp1 [] 1 ADD
 263     ! goto get(cache + bootstrap-cell)
 264     temp0 temp0 bootstrap-cell [+] MOV
 265     temp0 word-entry-point-offset [+] JMP
 266     ! fall-through on miss
 267 ] mega-lookup jit-define
 268
 269 ! ! ! Sub-primitives
 270
 271 ! Objects
 272 [
 273     ! load from stack
 274     temp0 ds-reg [] MOV
 275     ! compute tag
 276     temp0 tag-mask get AND
 277     ! tag the tag
 278     temp0 tag-bits get SHL
 279     ! push to stack
 280     ds-reg [] temp0 MOV
 281 ] \ tag define-sub-primitive
 282
 283 [
 284     ! load slot number
 285     temp0 ds-reg [] MOV
 286     ! adjust stack pointer
 287     ds-reg bootstrap-cell SUB
 288     ! load object
 289     temp1 ds-reg [] MOV
 290     ! turn slot number into offset
 291     fixnum>slot@
 292     ! mask off tag
 293     temp1 tag-bits get SHR
 294     temp1 tag-bits get SHL
 295     ! load slot value
 296     temp0 temp1 temp0 [+] MOV
 297     ! push to stack
 298     ds-reg [] temp0 MOV
 299 ] \ slot define-sub-primitive
 300
 301 ! Shufflers
 302 [
 303     ds-reg bootstrap-cell SUB
 304 ] \ drop define-sub-primitive
 305
 306 [
 307     ds-reg 2 bootstrap-cells SUB
 308 ] \ 2drop define-sub-primitive
 309
 310 [
 311     ds-reg 3 bootstrap-cells SUB
 312 ] \ 3drop define-sub-primitive
 313
 314 [
 315     temp0 ds-reg [] MOV
 316     ds-reg bootstrap-cell ADD
 317     ds-reg [] temp0 MOV
 318 ] \ dup define-sub-primitive
 319
 320 [
 321     temp0 ds-reg [] MOV
 322     temp1 ds-reg bootstrap-cell neg [+] MOV
 323     ds-reg 2 bootstrap-cells ADD
 324     ds-reg [] temp0 MOV
 325     ds-reg bootstrap-cell neg [+] temp1 MOV
 326 ] \ 2dup define-sub-primitive
 327
 328 [
 329     temp0 ds-reg [] MOV
 330     temp1 ds-reg -1 bootstrap-cells [+] MOV
 331     temp3 ds-reg -2 bootstrap-cells [+] MOV
 332     ds-reg 3 bootstrap-cells ADD
 333     ds-reg [] temp0 MOV
 334     ds-reg -1 bootstrap-cells [+] temp1 MOV
 335     ds-reg -2 bootstrap-cells [+] temp3 MOV
 336 ] \ 3dup define-sub-primitive
 337
 338 [
 339     temp0 ds-reg [] MOV
 340     ds-reg bootstrap-cell SUB
 341     ds-reg [] temp0 MOV
 342 ] \ nip define-sub-primitive
 343
 344 [
 345     temp0 ds-reg [] MOV
 346     ds-reg 2 bootstrap-cells SUB
 347     ds-reg [] temp0 MOV
 348 ] \ 2nip define-sub-primitive
 349
 350 [
 351     temp0 ds-reg -1 bootstrap-cells [+] MOV
 352     ds-reg bootstrap-cell ADD
 353     ds-reg [] temp0 MOV
 354 ] \ over define-sub-primitive
 355
 356 [
 357     temp0 ds-reg -2 bootstrap-cells [+] MOV
 358     ds-reg bootstrap-cell ADD
 359     ds-reg [] temp0 MOV
 360 ] \ pick define-sub-primitive
 361
 362 [
 363     temp0 ds-reg [] MOV
 364     temp1 ds-reg -1 bootstrap-cells [+] MOV
 365     ds-reg [] temp1 MOV
 366     ds-reg bootstrap-cell ADD
 367     ds-reg [] temp0 MOV
 368 ] \ dupd define-sub-primitive
 369
 370 [
 371     temp0 ds-reg [] MOV
 372     temp1 ds-reg bootstrap-cell neg [+] MOV
 373     ds-reg bootstrap-cell neg [+] temp0 MOV
 374     ds-reg [] temp1 MOV
 375 ] \ swap define-sub-primitive
 376
 377 [
 378     temp0 ds-reg -1 bootstrap-cells [+] MOV
 379     temp1 ds-reg -2 bootstrap-cells [+] MOV
 380     ds-reg -2 bootstrap-cells [+] temp0 MOV
 381     ds-reg -1 bootstrap-cells [+] temp1 MOV
 382 ] \ swapd define-sub-primitive
 383
 384 [
 385     temp0 ds-reg [] MOV
 386     temp1 ds-reg -1 bootstrap-cells [+] MOV
 387     temp3 ds-reg -2 bootstrap-cells [+] MOV
 388     ds-reg -2 bootstrap-cells [+] temp1 MOV
 389     ds-reg -1 bootstrap-cells [+] temp0 MOV
 390     ds-reg [] temp3 MOV
 391 ] \ rot define-sub-primitive
 392
 393 [
 394     temp0 ds-reg [] MOV
 395     temp1 ds-reg -1 bootstrap-cells [+] MOV
 396     temp3 ds-reg -2 bootstrap-cells [+] MOV
 397     ds-reg -2 bootstrap-cells [+] temp0 MOV
 398     ds-reg -1 bootstrap-cells [+] temp3 MOV
 399     ds-reg [] temp1 MOV
 400 ] \ -rot define-sub-primitive
 401
 402 [ jit->r ] \ load-local define-sub-primitive
 403
 404 ! Comparisons
 405 : jit-compare ( insn -- )
 406     ! load t
 407     t jit-literal
 408     temp3 0 MOV rc-absolute-cell rt-literal jit-rel
 409     ! load f
 410     temp1 \ f type-number MOV
 411     ! load first value
 412     temp0 ds-reg [] MOV
 413     ! adjust stack pointer
 414     ds-reg bootstrap-cell SUB
 415     ! compare with second value
 416     ds-reg [] temp0 CMP
 417     ! move t if true
 418     [ temp1 temp3 ] dip execute( dst src -- )
 419     ! store
 420     ds-reg [] temp1 MOV ;
 421
 422 : define-jit-compare ( insn word -- )
 423     [ [ jit-compare ] curry ] dip define-sub-primitive ;
 424
 425 \ CMOVE \ eq? define-jit-compare
 426 \ CMOVGE \ fixnum>= define-jit-compare
 427 \ CMOVLE \ fixnum<= define-jit-compare
 428 \ CMOVG \ fixnum> define-jit-compare
 429 \ CMOVL \ fixnum< define-jit-compare
 430
 431 ! Math
 432 : jit-math ( insn -- )
 433     ! load second input
 434     temp0 ds-reg [] MOV
 435     ! pop stack
 436     ds-reg bootstrap-cell SUB
 437     ! compute result
 438     [ ds-reg [] temp0 ] dip execute( dst src -- ) ;
 439
 440 [ \ ADD jit-math ] \ fixnum+fast define-sub-primitive
 441
 442 [ \ SUB jit-math ] \ fixnum-fast define-sub-primitive
 443
 444 [
 445     ! load second input
 446     temp0 ds-reg [] MOV
 447     ! pop stack
 448     ds-reg bootstrap-cell SUB
 449     ! load first input
 450     temp1 ds-reg [] MOV
 451     ! untag second input
 452     temp0 tag-bits get SAR
 453     ! multiply
 454     temp0 temp1 IMUL2
 455     ! push result
 456     ds-reg [] temp1 MOV
 457 ] \ fixnum*fast define-sub-primitive
 458
 459 [ \ AND jit-math ] \ fixnum-bitand define-sub-primitive
 460
 461 [ \ OR jit-math ] \ fixnum-bitor define-sub-primitive
 462
 463 [ \ XOR jit-math ] \ fixnum-bitxor define-sub-primitive
 464
 465 [
 466     ! complement
 467     ds-reg [] NOT
 468     ! clear tag bits
 469     ds-reg [] tag-mask get XOR
 470 ] \ fixnum-bitnot define-sub-primitive
 471
 472 [
 473     ! load shift count
 474     shift-arg ds-reg [] MOV
 475     ! untag shift count
 476     shift-arg tag-bits get SAR
 477     ! adjust stack pointer
 478     ds-reg bootstrap-cell SUB
 479     ! load value
 480     temp3 ds-reg [] MOV
 481     ! make a copy
 482     temp2 temp3 MOV
 483     ! compute positive shift value in temp2
 484     temp2 CL SHL
 485     shift-arg NEG
 486     ! compute negative shift value in temp3
 487     temp3 CL SAR
 488     temp3 tag-mask get bitnot AND
 489     shift-arg 0 CMP
 490     ! if shift count was negative, move temp0 to temp2
 491     temp2 temp3 CMOVGE
 492     ! push to stack
 493     ds-reg [] temp2 MOV
 494 ] \ fixnum-shift-fast define-sub-primitive
 495
 496 : jit-fixnum-/mod ( -- )
 497     ! load second parameter
 498     temp1 ds-reg [] MOV
 499     ! load first parameter
 500     div-arg ds-reg bootstrap-cell neg [+] MOV
 501     ! make a copy
 502     mod-arg div-arg MOV
 503     ! sign-extend
 504     mod-arg bootstrap-cell-bits 1 - SAR
 505     ! divide
 506     temp1 IDIV ;
 507
 508 [
 509     jit-fixnum-/mod
 510     ! adjust stack pointer
 511     ds-reg bootstrap-cell SUB
 512     ! push to stack
 513     ds-reg [] mod-arg MOV
 514 ] \ fixnum-mod define-sub-primitive
 515
 516 [
 517     jit-fixnum-/mod
 518     ! adjust stack pointer
 519     ds-reg bootstrap-cell SUB
 520     ! tag it
 521     div-arg tag-bits get SHL
 522     ! push to stack
 523     ds-reg [] div-arg MOV
 524 ] \ fixnum/i-fast define-sub-primitive
 525
 526 [
 527     jit-fixnum-/mod
 528     ! tag it
 529     div-arg tag-bits get SHL
 530     ! push to stack
 531     ds-reg [] mod-arg MOV
 532     ds-reg bootstrap-cell neg [+] div-arg MOV
 533 ] \ fixnum/mod-fast define-sub-primitive
 534
 535 [
 536     temp0 ds-reg [] MOV
 537     ds-reg bootstrap-cell SUB
 538     temp0 ds-reg [] OR
 539     temp0 tag-mask get AND
 540     temp0 \ f type-number MOV
 541     temp1 1 tag-fixnum MOV
 542     temp0 temp1 CMOVE
 543     ds-reg [] temp0 MOV
 544 ] \ both-fixnums? define-sub-primitive
 545
 546 [
 547     ! load local number
 548     temp0 ds-reg [] MOV
 549     ! turn local number into offset
 550     fixnum>slot@
 551     ! load local value
 552     temp0 rs-reg temp0 [+] MOV
 553     ! push to stack
 554     ds-reg [] temp0 MOV
 555 ] \ get-local define-sub-primitive
 556
 557 [
 558     ! load local count
 559     temp0 ds-reg [] MOV
 560     ! adjust stack pointer
 561     ds-reg bootstrap-cell SUB
 562     ! turn local number into offset
 563     fixnum>slot@
 564     ! decrement retain stack pointer
 565     rs-reg temp0 SUB
 566 ] \ drop-locals define-sub-primitive
 567
 568 [ "bootstrap.x86" forget-vocab ] with-compilation-unit