basis/cpu/x86/bootstrap.factor

   1 ! Copyright (C) 2007, 2010 Slava Pestov.
   2 ! See http://factorcode.org/license.txt for BSD license.
   3 USING: bootstrap.image.private compiler.constants
   4 compiler.units cpu.x86.assembler cpu.x86.assembler.operands
   5 kernel kernel.private layouts locals.backend make math
   6 math.private namespaces sequences slots.private vocabs ;
   7 IN: bootstrap.x86
   8
   9 big-endian off
  10
  11 ! C to Factor entry point
  12 [
  13     ! Optimizing compiler's side of callback accesses
  14     ! arguments that are on the stack via the frame pointer.
  15     ! On x86-32 fastcall, and x86-64, some arguments are passed
  16     ! in registers, and so the only registers that are safe for
  17     ! use here are frame-reg, nv-reg and vm-reg.
  18     frame-reg PUSH
  19     frame-reg stack-reg MOV
  20
  21     ! Save all non-volatile registers
  22     nv-regs [ PUSH ] each
  23
  24     jit-save-tib
  25
  26     ! Load VM into vm-reg
  27     vm-reg 0 MOV rc-absolute-cell rt-vm jit-rel
  28
  29     ! Save old context
  30     nv-reg vm-reg vm-context-offset [+] MOV
  31     nv-reg PUSH
  32
  33     ! Switch over to the spare context
  34     nv-reg vm-reg vm-spare-context-offset [+] MOV
  35     vm-reg vm-context-offset [+] nv-reg MOV
  36
  37     ! Save C callstack pointer
  38     nv-reg context-callstack-save-offset [+] stack-reg MOV
  39
  40     ! Load Factor callstack pointer
  41     stack-reg nv-reg context-callstack-bottom-offset [+] MOV
  42
  43     nv-reg jit-update-tib
  44     jit-install-seh
  45
  46     ! Call into Factor code
  47     nv-reg 0 MOV rc-absolute-cell rt-entry-point jit-rel
  48     nv-reg CALL
  49
  50     ! Load VM into vm-reg; only needed on x86-32, but doesn't
  51     ! hurt on x86-64
  52     vm-reg 0 MOV rc-absolute-cell rt-vm jit-rel
  53
  54     ! Load C callstack pointer
  55     nv-reg vm-reg vm-context-offset [+] MOV
  56     stack-reg nv-reg context-callstack-save-offset [+] MOV
  57
  58     ! Load old context
  59     nv-reg POP
  60     vm-reg vm-context-offset [+] nv-reg MOV
  61
  62     ! Restore non-volatile registers
  63     jit-restore-tib
  64
  65     nv-regs <reversed> [ POP ] each
  66
  67     frame-reg POP
  68
  69     ! Callbacks which return structs, or use stdcall/fastcall/thiscall,
  70     ! need a parameter here.
  71
  72     ! See the comment for M\ x86.32 stack-cleanup in cpu.x86.32
  73     HEX: ffff RET rc-absolute-2 rt-untagged jit-rel
  74 ] callback-stub jit-define
  75
  76 [
  77     ! Load word
  78     temp0 0 MOV rc-absolute-cell rt-literal jit-rel
  79     ! Bump profiling counter
  80     temp0 profile-count-offset [+] 1 tag-fixnum ADD
  81     ! Load word->code
  82     temp0 temp0 word-code-offset [+] MOV
  83     ! Compute word entry point
  84     temp0 compiled-header-size ADD
  85     ! Jump to entry point
  86     temp0 JMP
  87 ] jit-profiling jit-define
  88
  89 [
  90     ! load literal
  91     temp0 0 MOV rc-absolute-cell rt-literal jit-rel
  92     ! increment datastack pointer
  93     ds-reg bootstrap-cell ADD
  94     ! store literal on datastack
  95     ds-reg [] temp0 MOV
  96 ] jit-push jit-define
  97
  98 [
  99     0 CALL rc-relative rt-entry-point-pic jit-rel
 100 ] jit-word-call jit-define
 101
 102 [
 103     ! load boolean
 104     temp0 ds-reg [] MOV
 105     ! pop boolean
 106     ds-reg bootstrap-cell SUB
 107     ! compare boolean with f
 108     temp0 \ f type-number CMP
 109     ! jump to true branch if not equal
 110     0 JNE rc-relative rt-entry-point jit-rel
 111     ! jump to false branch if equal
 112     0 JMP rc-relative rt-entry-point jit-rel
 113 ] jit-if jit-define
 114
 115 : jit->r ( -- )
 116     rs-reg bootstrap-cell ADD
 117     temp0 ds-reg [] MOV
 118     ds-reg bootstrap-cell SUB
 119     rs-reg [] temp0 MOV ;
 120
 121 : jit-2>r ( -- )
 122     rs-reg 2 bootstrap-cells ADD
 123     temp0 ds-reg [] MOV
 124     temp1 ds-reg -1 bootstrap-cells [+] MOV
 125     ds-reg 2 bootstrap-cells SUB
 126     rs-reg [] temp0 MOV
 127     rs-reg -1 bootstrap-cells [+] temp1 MOV ;
 128
 129 : jit-3>r ( -- )
 130     rs-reg 3 bootstrap-cells ADD
 131     temp0 ds-reg [] MOV
 132     temp1 ds-reg -1 bootstrap-cells [+] MOV
 133     temp2 ds-reg -2 bootstrap-cells [+] MOV
 134     ds-reg 3 bootstrap-cells SUB
 135     rs-reg [] temp0 MOV
 136     rs-reg -1 bootstrap-cells [+] temp1 MOV
 137     rs-reg -2 bootstrap-cells [+] temp2 MOV ;
 138
 139 : jit-r> ( -- )
 140     ds-reg bootstrap-cell ADD
 141     temp0 rs-reg [] MOV
 142     rs-reg bootstrap-cell SUB
 143     ds-reg [] temp0 MOV ;
 144
 145 : jit-2r> ( -- )
 146     ds-reg 2 bootstrap-cells ADD
 147     temp0 rs-reg [] MOV
 148     temp1 rs-reg -1 bootstrap-cells [+] MOV
 149     rs-reg 2 bootstrap-cells SUB
 150     ds-reg [] temp0 MOV
 151     ds-reg -1 bootstrap-cells [+] temp1 MOV ;
 152
 153 : jit-3r> ( -- )
 154     ds-reg 3 bootstrap-cells ADD
 155     temp0 rs-reg [] MOV
 156     temp1 rs-reg -1 bootstrap-cells [+] MOV
 157     temp2 rs-reg -2 bootstrap-cells [+] MOV
 158     rs-reg 3 bootstrap-cells SUB
 159     ds-reg [] temp0 MOV
 160     ds-reg -1 bootstrap-cells [+] temp1 MOV
 161     ds-reg -2 bootstrap-cells [+] temp2 MOV ;
 162
 163 [
 164     jit->r
 165     0 CALL rc-relative rt-entry-point jit-rel
 166     jit-r>
 167 ] jit-dip jit-define
 168
 169 [
 170     jit-2>r
 171     0 CALL rc-relative rt-entry-point jit-rel
 172     jit-2r>
 173 ] jit-2dip jit-define
 174
 175 [
 176     jit-3>r
 177     0 CALL rc-relative rt-entry-point jit-rel
 178     jit-3r>
 179 ] jit-3dip jit-define
 180
 181 [
 182     ! load from stack
 183     temp0 ds-reg [] MOV
 184     ! pop stack
 185     ds-reg bootstrap-cell SUB
 186 ]
 187 [ temp0 word-entry-point-offset [+] CALL ]
 188 [ temp0 word-entry-point-offset [+] JMP ]
 189 \ (execute) define-combinator-primitive
 190
 191 [
 192     temp0 ds-reg [] MOV
 193     ds-reg bootstrap-cell SUB
 194     temp0 word-entry-point-offset [+] JMP
 195 ] jit-execute jit-define
 196
 197 [
 198     stack-reg stack-frame-size bootstrap-cell - ADD
 199 ] jit-epilog jit-define
 200
 201 [ 0 RET ] jit-return jit-define
 202
 203 ! ! ! Polymorphic inline caches
 204
 205 ! The PIC stubs are not permitted to touch pic-tail-reg.
 206
 207 ! Load a value from a stack position
 208 [
 209     temp1 ds-reg HEX: 7f [+] MOV rc-absolute-1 rt-untagged jit-rel
 210 ] pic-load jit-define
 211
 212 [ temp1 tag-mask get AND ] pic-tag jit-define
 213
 214 [
 215     temp0 temp1 MOV
 216     temp1 tag-mask get AND
 217     temp1 tuple type-number CMP
 218     [ JNE ]
 219     [ temp1 temp0 tuple-class-offset [+] MOV ]
 220     jit-conditional
 221 ] pic-tuple jit-define
 222
 223 [
 224     temp1 HEX: 7f CMP rc-absolute-1 rt-untagged jit-rel
 225 ] pic-check-tag jit-define
 226
 227 [ 0 JE rc-relative rt-entry-point jit-rel ] pic-hit jit-define
 228
 229 ! ! ! Megamorphic caches
 230
 231 [
 232     ! class = ...
 233     temp0 temp1 MOV
 234     temp1 tag-mask get AND
 235     temp1 tag-bits get SHL
 236     temp1 tuple type-number tag-fixnum CMP
 237     [ JNE ]
 238     [ temp1 temp0 tuple-class-offset [+] MOV ]
 239     jit-conditional
 240     ! cache = ...
 241     temp0 0 MOV rc-absolute-cell rt-literal jit-rel
 242     ! key = hashcode(class)
 243     temp2 temp1 MOV
 244     bootstrap-cell 4 = [ temp2 1 SHR ] when
 245     ! key &= cache.length - 1
 246     temp2 mega-cache-size get 1 - bootstrap-cell * AND
 247     ! cache += array-start-offset
 248     temp0 array-start-offset ADD
 249     ! cache += key
 250     temp0 temp2 ADD
 251     ! if(get(cache) == class)
 252     temp0 [] temp1 CMP
 253     [ JNE ]
 254     [
 255         ! megamorphic_cache_hits++
 256         temp1 0 MOV rc-absolute-cell rt-megamorphic-cache-hits jit-rel
 257         temp1 [] 1 ADD
 258         ! goto get(cache + bootstrap-cell)
 259         temp0 temp0 bootstrap-cell [+] MOV
 260         temp0 word-entry-point-offset [+] JMP
 261         ! fall-through on miss
 262     ] jit-conditional
 263 ] mega-lookup jit-define
 264
 265 ! ! ! Sub-primitives
 266
 267 ! Objects
 268 [
 269     ! load from stack
 270     temp0 ds-reg [] MOV
 271     ! compute tag
 272     temp0 tag-mask get AND
 273     ! tag the tag
 274     temp0 tag-bits get SHL
 275     ! push to stack
 276     ds-reg [] temp0 MOV
 277 ] \ tag define-sub-primitive
 278
 279 [
 280     ! load slot number
 281     temp0 ds-reg [] MOV
 282     ! adjust stack pointer
 283     ds-reg bootstrap-cell SUB
 284     ! load object
 285     temp1 ds-reg [] MOV
 286     ! turn slot number into offset
 287     fixnum>slot@
 288     ! mask off tag
 289     temp1 tag-bits get SHR
 290     temp1 tag-bits get SHL
 291     ! load slot value
 292     temp0 temp1 temp0 [+] MOV
 293     ! push to stack
 294     ds-reg [] temp0 MOV
 295 ] \ slot define-sub-primitive
 296
 297 ! Shufflers
 298 [
 299     ds-reg bootstrap-cell SUB
 300 ] \ drop define-sub-primitive
 301
 302 [
 303     ds-reg 2 bootstrap-cells SUB
 304 ] \ 2drop define-sub-primitive
 305
 306 [
 307     ds-reg 3 bootstrap-cells SUB
 308 ] \ 3drop define-sub-primitive
 309
 310 [
 311     temp0 ds-reg [] MOV
 312     ds-reg bootstrap-cell ADD
 313     ds-reg [] temp0 MOV
 314 ] \ dup define-sub-primitive
 315
 316 [
 317     temp0 ds-reg [] MOV
 318     temp1 ds-reg bootstrap-cell neg [+] MOV
 319     ds-reg 2 bootstrap-cells ADD
 320     ds-reg [] temp0 MOV
 321     ds-reg bootstrap-cell neg [+] temp1 MOV
 322 ] \ 2dup define-sub-primitive
 323
 324 [
 325     temp0 ds-reg [] MOV
 326     temp1 ds-reg -1 bootstrap-cells [+] MOV
 327     temp3 ds-reg -2 bootstrap-cells [+] MOV
 328     ds-reg 3 bootstrap-cells ADD
 329     ds-reg [] temp0 MOV
 330     ds-reg -1 bootstrap-cells [+] temp1 MOV
 331     ds-reg -2 bootstrap-cells [+] temp3 MOV
 332 ] \ 3dup define-sub-primitive
 333
 334 [
 335     temp0 ds-reg [] MOV
 336     ds-reg bootstrap-cell SUB
 337     ds-reg [] temp0 MOV
 338 ] \ nip define-sub-primitive
 339
 340 [
 341     temp0 ds-reg [] MOV
 342     ds-reg 2 bootstrap-cells SUB
 343     ds-reg [] temp0 MOV
 344 ] \ 2nip define-sub-primitive
 345
 346 [
 347     temp0 ds-reg -1 bootstrap-cells [+] MOV
 348     ds-reg bootstrap-cell ADD
 349     ds-reg [] temp0 MOV
 350 ] \ over define-sub-primitive
 351
 352 [
 353     temp0 ds-reg -2 bootstrap-cells [+] MOV
 354     ds-reg bootstrap-cell ADD
 355     ds-reg [] temp0 MOV
 356 ] \ pick define-sub-primitive
 357
 358 [
 359     temp0 ds-reg [] MOV
 360     temp1 ds-reg -1 bootstrap-cells [+] MOV
 361     ds-reg [] temp1 MOV
 362     ds-reg bootstrap-cell ADD
 363     ds-reg [] temp0 MOV
 364 ] \ dupd define-sub-primitive
 365
 366 [
 367     temp0 ds-reg [] MOV
 368     temp1 ds-reg bootstrap-cell neg [+] MOV
 369     ds-reg bootstrap-cell neg [+] temp0 MOV
 370     ds-reg [] temp1 MOV
 371 ] \ swap define-sub-primitive
 372
 373 [
 374     temp0 ds-reg -1 bootstrap-cells [+] MOV
 375     temp1 ds-reg -2 bootstrap-cells [+] MOV
 376     ds-reg -2 bootstrap-cells [+] temp0 MOV
 377     ds-reg -1 bootstrap-cells [+] temp1 MOV
 378 ] \ swapd define-sub-primitive
 379
 380 [
 381     temp0 ds-reg [] MOV
 382     temp1 ds-reg -1 bootstrap-cells [+] MOV
 383     temp3 ds-reg -2 bootstrap-cells [+] MOV
 384     ds-reg -2 bootstrap-cells [+] temp1 MOV
 385     ds-reg -1 bootstrap-cells [+] temp0 MOV
 386     ds-reg [] temp3 MOV
 387 ] \ rot define-sub-primitive
 388
 389 [
 390     temp0 ds-reg [] MOV
 391     temp1 ds-reg -1 bootstrap-cells [+] MOV
 392     temp3 ds-reg -2 bootstrap-cells [+] MOV
 393     ds-reg -2 bootstrap-cells [+] temp0 MOV
 394     ds-reg -1 bootstrap-cells [+] temp3 MOV
 395     ds-reg [] temp1 MOV
 396 ] \ -rot define-sub-primitive
 397
 398 [ jit->r ] \ load-local define-sub-primitive
 399
 400 ! Comparisons
 401 : jit-compare ( insn -- )
 402     ! load t
 403     t jit-literal
 404     temp3 0 MOV rc-absolute-cell rt-literal jit-rel
 405     ! load f
 406     temp1 \ f type-number MOV
 407     ! load first value
 408     temp0 ds-reg [] MOV
 409     ! adjust stack pointer
 410     ds-reg bootstrap-cell SUB
 411     ! compare with second value
 412     ds-reg [] temp0 CMP
 413     ! move t if true
 414     [ temp1 temp3 ] dip execute( dst src -- )
 415     ! store
 416     ds-reg [] temp1 MOV ;
 417
 418 : define-jit-compare ( insn word -- )
 419     [ [ jit-compare ] curry ] dip define-sub-primitive ;
 420
 421 \ CMOVE \ eq? define-jit-compare
 422 \ CMOVGE \ fixnum>= define-jit-compare
 423 \ CMOVLE \ fixnum<= define-jit-compare
 424 \ CMOVG \ fixnum> define-jit-compare
 425 \ CMOVL \ fixnum< define-jit-compare
 426
 427 ! Math
 428 : jit-math ( insn -- )
 429     ! load second input
 430     temp0 ds-reg [] MOV
 431     ! pop stack
 432     ds-reg bootstrap-cell SUB
 433     ! compute result
 434     [ ds-reg [] temp0 ] dip execute( dst src -- ) ;
 435
 436 [ \ ADD jit-math ] \ fixnum+fast define-sub-primitive
 437
 438 [ \ SUB jit-math ] \ fixnum-fast define-sub-primitive
 439
 440 [
 441     ! load second input
 442     temp0 ds-reg [] MOV
 443     ! pop stack
 444     ds-reg bootstrap-cell SUB
 445     ! load first input
 446     temp1 ds-reg [] MOV
 447     ! untag second input
 448     temp0 tag-bits get SAR
 449     ! multiply
 450     temp0 temp1 IMUL2
 451     ! push result
 452     ds-reg [] temp1 MOV
 453 ] \ fixnum*fast define-sub-primitive
 454
 455 [ \ AND jit-math ] \ fixnum-bitand define-sub-primitive
 456
 457 [ \ OR jit-math ] \ fixnum-bitor define-sub-primitive
 458
 459 [ \ XOR jit-math ] \ fixnum-bitxor define-sub-primitive
 460
 461 [
 462     ! complement
 463     ds-reg [] NOT
 464     ! clear tag bits
 465     ds-reg [] tag-mask get XOR
 466 ] \ fixnum-bitnot define-sub-primitive
 467
 468 [
 469     ! load shift count
 470     shift-arg ds-reg [] MOV
 471     ! untag shift count
 472     shift-arg tag-bits get SAR
 473     ! adjust stack pointer
 474     ds-reg bootstrap-cell SUB
 475     ! load value
 476     temp3 ds-reg [] MOV
 477     ! make a copy
 478     temp2 temp3 MOV
 479     ! compute positive shift value in temp2
 480     temp2 CL SHL
 481     shift-arg NEG
 482     ! compute negative shift value in temp3
 483     temp3 CL SAR
 484     temp3 tag-mask get bitnot AND
 485     shift-arg 0 CMP
 486     ! if shift count was negative, move temp0 to temp2
 487     temp2 temp3 CMOVGE
 488     ! push to stack
 489     ds-reg [] temp2 MOV
 490 ] \ fixnum-shift-fast define-sub-primitive
 491
 492 : jit-fixnum-/mod ( -- )
 493     ! load second parameter
 494     temp1 ds-reg [] MOV
 495     ! load first parameter
 496     div-arg ds-reg bootstrap-cell neg [+] MOV
 497     ! make a copy
 498     mod-arg div-arg MOV
 499     ! sign-extend
 500     mod-arg bootstrap-cell-bits 1 - SAR
 501     ! divide
 502     temp1 IDIV ;
 503
 504 [
 505     jit-fixnum-/mod
 506     ! adjust stack pointer
 507     ds-reg bootstrap-cell SUB
 508     ! push to stack
 509     ds-reg [] mod-arg MOV
 510 ] \ fixnum-mod define-sub-primitive
 511
 512 [
 513     jit-fixnum-/mod
 514     ! adjust stack pointer
 515     ds-reg bootstrap-cell SUB
 516     ! tag it
 517     div-arg tag-bits get SHL
 518     ! push to stack
 519     ds-reg [] div-arg MOV
 520 ] \ fixnum/i-fast define-sub-primitive
 521
 522 [
 523     jit-fixnum-/mod
 524     ! tag it
 525     div-arg tag-bits get SHL
 526     ! push to stack
 527     ds-reg [] mod-arg MOV
 528     ds-reg bootstrap-cell neg [+] div-arg MOV
 529 ] \ fixnum/mod-fast define-sub-primitive
 530
 531 [
 532     temp0 ds-reg [] MOV
 533     ds-reg bootstrap-cell SUB
 534     temp0 ds-reg [] OR
 535     temp0 tag-mask get AND
 536     temp0 \ f type-number MOV
 537     temp1 1 tag-fixnum MOV
 538     temp0 temp1 CMOVE
 539     ds-reg [] temp0 MOV
 540 ] \ both-fixnums? define-sub-primitive
 541
 542 [
 543     ! load local number
 544     temp0 ds-reg [] MOV
 545     ! turn local number into offset
 546     fixnum>slot@
 547     ! load local value
 548     temp0 rs-reg temp0 [+] MOV
 549     ! push to stack
 550     ds-reg [] temp0 MOV
 551 ] \ get-local define-sub-primitive
 552
 553 [
 554     ! load local count
 555     temp0 ds-reg [] MOV
 556     ! adjust stack pointer
 557     ds-reg bootstrap-cell SUB
 558     ! turn local number into offset
 559     fixnum>slot@
 560     ! decrement retain stack pointer
 561     rs-reg temp0 SUB
 562 ] \ drop-locals define-sub-primitive
 563
 564 [ "bootstrap.x86" forget-vocab ] with-compilation-unit