basis/cpu/x86/bootstrap.factor

   1 ! Copyright (C) 2007, 2010 Slava Pestov.
   2 ! See http://factorcode.org/license.txt for BSD license.
   3 USING: bootstrap.image.private compiler.constants
   4 compiler.units cpu.x86.assembler cpu.x86.assembler.operands
   5 kernel kernel.private layouts locals.backend make math
   6 math.private namespaces sequences slots.private vocabs ;
   7 IN: bootstrap.x86
   8
   9 big-endian off
  10
  11 ! C to Factor entry point
  12 [
  13     ! Optimizing compiler's side of callback accesses
  14     ! arguments that are on the stack via the frame pointer.
  15     ! On x86-64, some arguments are passed in registers, and
  16     ! so the only register that is safe for use here is safe-reg.
  17     frame-reg PUSH
  18     frame-reg stack-reg MOV
  19
  20     ! Save all non-volatile registers
  21     nv-regs [ PUSH ] each
  22
  23     ! Save old stack pointer and align
  24     safe-reg stack-reg MOV
  25     stack-reg bootstrap-cell SUB
  26     stack-reg -16 AND
  27     stack-reg [] safe-reg MOV
  28
  29     ! Register shadow area - only required on Win64, but doesn't
  30     ! hurt on other platforms
  31     stack-reg 32 SUB
  32
  33     ! Load VM into vm-reg
  34     vm-reg 0 MOV rc-absolute-cell rt-vm jit-rel
  35
  36     ! Call into Factor code
  37     safe-reg 0 MOV rc-absolute-cell rt-entry-point jit-rel
  38     safe-reg CALL
  39
  40     ! Tear down register shadow area
  41     stack-reg 32 ADD
  42
  43     ! Undo stack alignment
  44     stack-reg stack-reg [] MOV
  45
  46     ! Restore non-volatile registers
  47     nv-regs <reversed> [ POP ] each
  48
  49     frame-reg POP
  50
  51     ! Callbacks which return structs, or use stdcall, need a
  52     ! parameter here. See the comment in callback-return-rewind
  53     ! in cpu.x86.32
  54     HEX: ffff RET rc-absolute-2 rt-untagged jit-rel
  55 ] callback-stub jit-define
  56
  57 [
  58     ! Load word
  59     safe-reg 0 MOV rc-absolute-cell rt-literal jit-rel
  60     ! Bump profiling counter
  61     safe-reg profile-count-offset [+] 1 tag-fixnum ADD
  62     ! Load word->code
  63     safe-reg safe-reg word-code-offset [+] MOV
  64     ! Compute word entry point
  65     safe-reg compiled-header-size ADD
  66     ! Jump to entry point
  67     safe-reg JMP
  68 ] jit-profiling jit-define
  69
  70 [
  71     ! load literal
  72     temp0 0 MOV rc-absolute-cell rt-literal jit-rel
  73     ! increment datastack pointer
  74     ds-reg bootstrap-cell ADD
  75     ! store literal on datastack
  76     ds-reg [] temp0 MOV
  77 ] jit-push jit-define
  78
  79 [
  80     0 CALL rc-relative rt-entry-point-pic jit-rel
  81 ] jit-word-call jit-define
  82
  83 [
  84     ! load boolean
  85     temp0 ds-reg [] MOV
  86     ! pop boolean
  87     ds-reg bootstrap-cell SUB
  88     ! compare boolean with f
  89     temp0 \ f type-number CMP
  90     ! jump to true branch if not equal
  91     0 JNE rc-relative rt-entry-point jit-rel
  92     ! jump to false branch if equal
  93     0 JMP rc-relative rt-entry-point jit-rel
  94 ] jit-if jit-define
  95
  96 : jit->r ( -- )
  97     rs-reg bootstrap-cell ADD
  98     temp0 ds-reg [] MOV
  99     ds-reg bootstrap-cell SUB
 100     rs-reg [] temp0 MOV ;
 101
 102 : jit-2>r ( -- )
 103     rs-reg 2 bootstrap-cells ADD
 104     temp0 ds-reg [] MOV
 105     temp1 ds-reg -1 bootstrap-cells [+] MOV
 106     ds-reg 2 bootstrap-cells SUB
 107     rs-reg [] temp0 MOV
 108     rs-reg -1 bootstrap-cells [+] temp1 MOV ;
 109
 110 : jit-3>r ( -- )
 111     rs-reg 3 bootstrap-cells ADD
 112     temp0 ds-reg [] MOV
 113     temp1 ds-reg -1 bootstrap-cells [+] MOV
 114     temp2 ds-reg -2 bootstrap-cells [+] MOV
 115     ds-reg 3 bootstrap-cells SUB
 116     rs-reg [] temp0 MOV
 117     rs-reg -1 bootstrap-cells [+] temp1 MOV
 118     rs-reg -2 bootstrap-cells [+] temp2 MOV ;
 119
 120 : jit-r> ( -- )
 121     ds-reg bootstrap-cell ADD
 122     temp0 rs-reg [] MOV
 123     rs-reg bootstrap-cell SUB
 124     ds-reg [] temp0 MOV ;
 125
 126 : jit-2r> ( -- )
 127     ds-reg 2 bootstrap-cells ADD
 128     temp0 rs-reg [] MOV
 129     temp1 rs-reg -1 bootstrap-cells [+] MOV
 130     rs-reg 2 bootstrap-cells SUB
 131     ds-reg [] temp0 MOV
 132     ds-reg -1 bootstrap-cells [+] temp1 MOV ;
 133
 134 : jit-3r> ( -- )
 135     ds-reg 3 bootstrap-cells ADD
 136     temp0 rs-reg [] MOV
 137     temp1 rs-reg -1 bootstrap-cells [+] MOV
 138     temp2 rs-reg -2 bootstrap-cells [+] MOV
 139     rs-reg 3 bootstrap-cells SUB
 140     ds-reg [] temp0 MOV
 141     ds-reg -1 bootstrap-cells [+] temp1 MOV
 142     ds-reg -2 bootstrap-cells [+] temp2 MOV ;
 143
 144 [
 145     jit->r
 146     0 CALL rc-relative rt-entry-point jit-rel
 147     jit-r>
 148 ] jit-dip jit-define
 149
 150 [
 151     jit-2>r
 152     0 CALL rc-relative rt-entry-point jit-rel
 153     jit-2r>
 154 ] jit-2dip jit-define
 155
 156 [
 157     jit-3>r
 158     0 CALL rc-relative rt-entry-point jit-rel
 159     jit-3r>
 160 ] jit-3dip jit-define
 161
 162 [
 163     ! load from stack
 164     temp0 ds-reg [] MOV
 165     ! pop stack
 166     ds-reg bootstrap-cell SUB
 167 ]
 168 [ temp0 word-entry-point-offset [+] CALL ]
 169 [ temp0 word-entry-point-offset [+] JMP ]
 170 \ (execute) define-combinator-primitive
 171
 172 [
 173     temp0 ds-reg [] MOV
 174     ds-reg bootstrap-cell SUB
 175     temp0 word-entry-point-offset [+] JMP
 176 ] jit-execute jit-define
 177
 178 [
 179     stack-reg stack-frame-size bootstrap-cell - ADD
 180 ] jit-epilog jit-define
 181
 182 [ 0 RET ] jit-return jit-define
 183
 184 ! ! ! Polymorphic inline caches
 185
 186 ! The PIC stubs are not permitted to touch temp3.
 187
 188 ! Load a value from a stack position
 189 [
 190     temp1 ds-reg HEX: ffffffff [+] MOV rc-absolute rt-untagged jit-rel
 191 ] pic-load jit-define
 192
 193 ! Tag
 194 : load-tag ( -- )
 195     temp1 tag-mask get AND
 196     temp1 tag-bits get SHL ;
 197
 198 [ load-tag ] pic-tag jit-define
 199
 200 ! The 'make' trick lets us compute the jump distance for the
 201 ! conditional branches there
 202
 203 ! Tuple
 204 [
 205     temp0 temp1 MOV
 206     load-tag
 207     temp1 tuple type-number tag-fixnum CMP
 208     [ JNE ]
 209     [ temp1 temp0 tuple type-number neg bootstrap-cell + [+] MOV ]
 210     jit-conditional
 211 ] pic-tuple jit-define
 212
 213 [
 214     temp1 HEX: ffffffff CMP rc-absolute rt-literal jit-rel
 215 ] pic-check-tag jit-define
 216
 217 [
 218     temp2 HEX: ffffffff MOV rc-absolute-cell rt-literal jit-rel
 219     temp1 temp2 CMP
 220 ] pic-check-tuple jit-define
 221
 222 [ 0 JE rc-relative rt-entry-point jit-rel ] pic-hit jit-define
 223
 224 ! ! ! Megamorphic caches
 225
 226 [
 227     ! cache = ...
 228     temp0 0 MOV rc-absolute-cell rt-literal jit-rel
 229     ! key = hashcode(class)
 230     temp2 temp1 MOV
 231     bootstrap-cell 4 = [ temp2 1 SHR ] when
 232     ! key &= cache.length - 1
 233     temp2 mega-cache-size get 1 - bootstrap-cell * AND
 234     ! cache += array-start-offset
 235     temp0 array-start-offset ADD
 236     ! cache += key
 237     temp0 temp2 ADD
 238     ! if(get(cache) == class)
 239     temp0 [] temp1 CMP
 240     bootstrap-cell 4 = 14 22 ? JNE ! Yuck!
 241     ! megamorphic_cache_hits++
 242     temp1 0 MOV rc-absolute-cell rt-megamorphic-cache-hits jit-rel
 243     temp1 [] 1 ADD
 244     ! goto get(cache + bootstrap-cell)
 245     temp0 temp0 bootstrap-cell [+] MOV
 246     temp0 word-entry-point-offset [+] JMP
 247     ! fall-through on miss
 248 ] mega-lookup jit-define
 249
 250 ! ! ! Sub-primitives
 251
 252 ! Objects
 253 [
 254     ! load from stack
 255     temp0 ds-reg [] MOV
 256     ! compute tag
 257     temp0 tag-mask get AND
 258     ! tag the tag
 259     temp0 tag-bits get SHL
 260     ! push to stack
 261     ds-reg [] temp0 MOV
 262 ] \ tag define-sub-primitive
 263
 264 [
 265     ! load slot number
 266     temp0 ds-reg [] MOV
 267     ! adjust stack pointer
 268     ds-reg bootstrap-cell SUB
 269     ! load object
 270     temp1 ds-reg [] MOV
 271     ! turn slot number into offset
 272     fixnum>slot@
 273     ! mask off tag
 274     temp1 tag-bits get SHR
 275     temp1 tag-bits get SHL
 276     ! load slot value
 277     temp0 temp1 temp0 [+] MOV
 278     ! push to stack
 279     ds-reg [] temp0 MOV
 280 ] \ slot define-sub-primitive
 281
 282 ! Shufflers
 283 [
 284     ds-reg bootstrap-cell SUB
 285 ] \ drop define-sub-primitive
 286
 287 [
 288     ds-reg 2 bootstrap-cells SUB
 289 ] \ 2drop define-sub-primitive
 290
 291 [
 292     ds-reg 3 bootstrap-cells SUB
 293 ] \ 3drop define-sub-primitive
 294
 295 [
 296     temp0 ds-reg [] MOV
 297     ds-reg bootstrap-cell ADD
 298     ds-reg [] temp0 MOV
 299 ] \ dup define-sub-primitive
 300
 301 [
 302     temp0 ds-reg [] MOV
 303     temp1 ds-reg bootstrap-cell neg [+] MOV
 304     ds-reg 2 bootstrap-cells ADD
 305     ds-reg [] temp0 MOV
 306     ds-reg bootstrap-cell neg [+] temp1 MOV
 307 ] \ 2dup define-sub-primitive
 308
 309 [
 310     temp0 ds-reg [] MOV
 311     temp1 ds-reg -1 bootstrap-cells [+] MOV
 312     temp3 ds-reg -2 bootstrap-cells [+] MOV
 313     ds-reg 3 bootstrap-cells ADD
 314     ds-reg [] temp0 MOV
 315     ds-reg -1 bootstrap-cells [+] temp1 MOV
 316     ds-reg -2 bootstrap-cells [+] temp3 MOV
 317 ] \ 3dup define-sub-primitive
 318
 319 [
 320     temp0 ds-reg [] MOV
 321     ds-reg bootstrap-cell SUB
 322     ds-reg [] temp0 MOV
 323 ] \ nip define-sub-primitive
 324
 325 [
 326     temp0 ds-reg [] MOV
 327     ds-reg 2 bootstrap-cells SUB
 328     ds-reg [] temp0 MOV
 329 ] \ 2nip define-sub-primitive
 330
 331 [
 332     temp0 ds-reg -1 bootstrap-cells [+] MOV
 333     ds-reg bootstrap-cell ADD
 334     ds-reg [] temp0 MOV
 335 ] \ over define-sub-primitive
 336
 337 [
 338     temp0 ds-reg -2 bootstrap-cells [+] MOV
 339     ds-reg bootstrap-cell ADD
 340     ds-reg [] temp0 MOV
 341 ] \ pick define-sub-primitive
 342
 343 [
 344     temp0 ds-reg [] MOV
 345     temp1 ds-reg -1 bootstrap-cells [+] MOV
 346     ds-reg [] temp1 MOV
 347     ds-reg bootstrap-cell ADD
 348     ds-reg [] temp0 MOV
 349 ] \ dupd define-sub-primitive
 350
 351 [
 352     temp0 ds-reg [] MOV
 353     temp1 ds-reg bootstrap-cell neg [+] MOV
 354     ds-reg bootstrap-cell neg [+] temp0 MOV
 355     ds-reg [] temp1 MOV
 356 ] \ swap define-sub-primitive
 357
 358 [
 359     temp0 ds-reg -1 bootstrap-cells [+] MOV
 360     temp1 ds-reg -2 bootstrap-cells [+] MOV
 361     ds-reg -2 bootstrap-cells [+] temp0 MOV
 362     ds-reg -1 bootstrap-cells [+] temp1 MOV
 363 ] \ swapd define-sub-primitive
 364
 365 [
 366     temp0 ds-reg [] MOV
 367     temp1 ds-reg -1 bootstrap-cells [+] MOV
 368     temp3 ds-reg -2 bootstrap-cells [+] MOV
 369     ds-reg -2 bootstrap-cells [+] temp1 MOV
 370     ds-reg -1 bootstrap-cells [+] temp0 MOV
 371     ds-reg [] temp3 MOV
 372 ] \ rot define-sub-primitive
 373
 374 [
 375     temp0 ds-reg [] MOV
 376     temp1 ds-reg -1 bootstrap-cells [+] MOV
 377     temp3 ds-reg -2 bootstrap-cells [+] MOV
 378     ds-reg -2 bootstrap-cells [+] temp0 MOV
 379     ds-reg -1 bootstrap-cells [+] temp3 MOV
 380     ds-reg [] temp1 MOV
 381 ] \ -rot define-sub-primitive
 382
 383 [ jit->r ] \ load-local define-sub-primitive
 384
 385 ! Comparisons
 386 : jit-compare ( insn -- )
 387     ! load t
 388     t jit-literal
 389     temp3 0 MOV rc-absolute-cell rt-literal jit-rel
 390     ! load f
 391     temp1 \ f type-number MOV
 392     ! load first value
 393     temp0 ds-reg [] MOV
 394     ! adjust stack pointer
 395     ds-reg bootstrap-cell SUB
 396     ! compare with second value
 397     ds-reg [] temp0 CMP
 398     ! move t if true
 399     [ temp1 temp3 ] dip execute( dst src -- )
 400     ! store
 401     ds-reg [] temp1 MOV ;
 402
 403 : define-jit-compare ( insn word -- )
 404     [ [ jit-compare ] curry ] dip define-sub-primitive ;
 405
 406 \ CMOVE \ eq? define-jit-compare
 407 \ CMOVGE \ fixnum>= define-jit-compare
 408 \ CMOVLE \ fixnum<= define-jit-compare
 409 \ CMOVG \ fixnum> define-jit-compare
 410 \ CMOVL \ fixnum< define-jit-compare
 411
 412 ! Math
 413 : jit-math ( insn -- )
 414     ! load second input
 415     temp0 ds-reg [] MOV
 416     ! pop stack
 417     ds-reg bootstrap-cell SUB
 418     ! compute result
 419     [ ds-reg [] temp0 ] dip execute( dst src -- ) ;
 420
 421 [ \ ADD jit-math ] \ fixnum+fast define-sub-primitive
 422
 423 [ \ SUB jit-math ] \ fixnum-fast define-sub-primitive
 424
 425 [
 426     ! load second input
 427     temp0 ds-reg [] MOV
 428     ! pop stack
 429     ds-reg bootstrap-cell SUB
 430     ! load first input
 431     temp1 ds-reg [] MOV
 432     ! untag second input
 433     temp0 tag-bits get SAR
 434     ! multiply
 435     temp0 temp1 IMUL2
 436     ! push result
 437     ds-reg [] temp1 MOV
 438 ] \ fixnum*fast define-sub-primitive
 439
 440 [ \ AND jit-math ] \ fixnum-bitand define-sub-primitive
 441
 442 [ \ OR jit-math ] \ fixnum-bitor define-sub-primitive
 443
 444 [ \ XOR jit-math ] \ fixnum-bitxor define-sub-primitive
 445
 446 [
 447     ! complement
 448     ds-reg [] NOT
 449     ! clear tag bits
 450     ds-reg [] tag-mask get XOR
 451 ] \ fixnum-bitnot define-sub-primitive
 452
 453 [
 454     ! load shift count
 455     shift-arg ds-reg [] MOV
 456     ! untag shift count
 457     shift-arg tag-bits get SAR
 458     ! adjust stack pointer
 459     ds-reg bootstrap-cell SUB
 460     ! load value
 461     temp3 ds-reg [] MOV
 462     ! make a copy
 463     temp1 temp3 MOV
 464     ! compute positive shift value in temp1
 465     temp1 CL SHL
 466     shift-arg NEG
 467     ! compute negative shift value in temp3
 468     temp3 CL SAR
 469     temp3 tag-mask get bitnot AND
 470     shift-arg 0 CMP
 471     ! if shift count was negative, move temp0 to temp1
 472     temp1 temp3 CMOVGE
 473     ! push to stack
 474     ds-reg [] temp1 MOV
 475 ] \ fixnum-shift-fast define-sub-primitive
 476
 477 : jit-fixnum-/mod ( -- )
 478     ! load second parameter
 479     temp3 ds-reg [] MOV
 480     ! load first parameter
 481     div-arg ds-reg bootstrap-cell neg [+] MOV
 482     ! make a copy
 483     mod-arg div-arg MOV
 484     ! sign-extend
 485     mod-arg bootstrap-cell-bits 1 - SAR
 486     ! divide
 487     temp3 IDIV ;
 488
 489 [
 490     jit-fixnum-/mod
 491     ! adjust stack pointer
 492     ds-reg bootstrap-cell SUB
 493     ! push to stack
 494     ds-reg [] mod-arg MOV
 495 ] \ fixnum-mod define-sub-primitive
 496
 497 [
 498     jit-fixnum-/mod
 499     ! adjust stack pointer
 500     ds-reg bootstrap-cell SUB
 501     ! tag it
 502     div-arg tag-bits get SHL
 503     ! push to stack
 504     ds-reg [] div-arg MOV
 505 ] \ fixnum/i-fast define-sub-primitive
 506
 507 [
 508     jit-fixnum-/mod
 509     ! tag it
 510     div-arg tag-bits get SHL
 511     ! push to stack
 512     ds-reg [] mod-arg MOV
 513     ds-reg bootstrap-cell neg [+] div-arg MOV
 514 ] \ fixnum/mod-fast define-sub-primitive
 515
 516 [
 517     temp0 ds-reg [] MOV
 518     ds-reg bootstrap-cell SUB
 519     temp0 ds-reg [] OR
 520     temp0 tag-mask get AND
 521     temp0 \ f type-number MOV
 522     temp1 1 tag-fixnum MOV
 523     temp0 temp1 CMOVE
 524     ds-reg [] temp0 MOV
 525 ] \ both-fixnums? define-sub-primitive
 526
 527 [
 528     ! load local number
 529     temp0 ds-reg [] MOV
 530     ! turn local number into offset
 531     fixnum>slot@
 532     ! load local value
 533     temp0 rs-reg temp0 [+] MOV
 534     ! push to stack
 535     ds-reg [] temp0 MOV
 536 ] \ get-local define-sub-primitive
 537
 538 [
 539     ! load local count
 540     temp0 ds-reg [] MOV
 541     ! adjust stack pointer
 542     ds-reg bootstrap-cell SUB
 543     ! turn local number into offset
 544     fixnum>slot@
 545     ! decrement retain stack pointer
 546     rs-reg temp0 SUB
 547 ] \ drop-locals define-sub-primitive
 548
 549 [ "bootstrap.x86" forget-vocab ] with-compilation-unit