basis/cpu/x86/assembler/assembler.factor

   1 ! Copyright (C) 2005, 2009 Slava Pestov.
   2 ! See http://factorcode.org/license.txt for BSD license.
   3 USING: arrays io.binary kernel combinators kernel.private math
   4 namespaces make sequences words system layouts math.order accessors
   5 cpu.x86.assembler.syntax ;
   6 QUALIFIED: sequences
   7 IN: cpu.x86.assembler
   8
   9 ! A postfix assembler for x86-32 and x86-64.
  10
  11 ! In 32-bit mode, { 1234 } is absolute indirect addressing.
  12 ! In 64-bit mode, { 1234 } is RIP-relative.
  13 ! Beware!
  14
  15 ! Register operands -- eg, ECX
  16 REGISTERS: 8 AL CL DL BL SPL BPL SIL DIL R8B R9B R10B R11B R12B R13B R14B R15B ;
  17
  18 ALIAS: AH SPL
  19 ALIAS: CH BPL
  20 ALIAS: DH SIL
  21 ALIAS: BH DIL
  22
  23 REGISTERS: 16 AX CX DX BX SP BP SI DI R8W R9W R10W R11W R12W R13W R14W R15W ;
  24
  25 REGISTERS: 32 EAX ECX EDX EBX ESP EBP ESI EDI R8D R9D R10D R11D R12D R13D R14D R15D ;
  26
  27 REGISTERS: 64
  28 RAX RCX RDX RBX RSP RBP RSI RDI R8 R9 R10 R11 R12 R13 R14 R15 ;
  29
  30 REGISTERS: 128
  31 XMM0 XMM1 XMM2 XMM3 XMM4 XMM5 XMM6 XMM7
  32 XMM8 XMM9 XMM10 XMM11 XMM12 XMM13 XMM14 XMM15 ;
  33
  34 TUPLE: byte value ;
  35
  36 C: <byte> byte
  37
  38 <PRIVATE
  39
  40 #! Extended AMD64 registers (R8-R15) return true.
  41 GENERIC: extended? ( op -- ? )
  42
  43 M: object extended? drop f ;
  44
  45 PREDICATE: register < word
  46     "register" word-prop ;
  47
  48 PREDICATE: register-8 < register
  49     "register-size" word-prop 8 = ;
  50
  51 PREDICATE: register-16 < register
  52     "register-size" word-prop 16 = ;
  53
  54 PREDICATE: register-32 < register
  55     "register-size" word-prop 32 = ;
  56
  57 PREDICATE: register-64 < register
  58     "register-size" word-prop 64 = ;
  59
  60 PREDICATE: register-128 < register
  61     "register-size" word-prop 128 = ;
  62
  63 M: register extended? "register" word-prop 7 > ;
  64
  65 ! Addressing modes
  66 TUPLE: indirect base index scale displacement ;
  67
  68 M: indirect extended? base>> extended? ;
  69
  70 : canonicalize-EBP ( indirect -- indirect )
  71     #! { EBP } ==> { EBP 0 }
  72     dup [ base>> { EBP RBP R13 } member? ] [ displacement>> not ] bi and
  73     [ 0 >>displacement ] when ;
  74
  75 ERROR: bad-index indirect ;
  76
  77 : check-ESP ( indirect -- indirect )
  78     dup index>> { ESP RSP } memq? [ bad-index ] when ;
  79
  80 : canonicalize ( indirect -- indirect )
  81     #! Modify the indirect to work around certain addressing mode
  82     #! quirks.
  83     canonicalize-EBP check-ESP ;
  84
  85 : <indirect> ( base index scale displacement -- indirect )
  86     indirect boa canonicalize ;
  87
  88 : reg-code ( reg -- n ) "register" word-prop 7 bitand ;
  89
  90 : indirect-base* ( op -- n ) base>> EBP or reg-code ;
  91
  92 : indirect-index* ( op -- n ) index>> ESP or reg-code ;
  93
  94 : indirect-scale* ( op -- n ) scale>> 0 or ;
  95
  96 GENERIC: sib-present? ( op -- ? )
  97
  98 M: indirect sib-present?
  99     [ base>> { ESP RSP R12 } member? ] [ index>> ] [ scale>> ] tri or or ;
 100
 101 M: register sib-present? drop f ;
 102
 103 GENERIC: r/m ( operand -- n )
 104
 105 M: indirect r/m
 106     dup sib-present?
 107     [ drop ESP reg-code ] [ indirect-base* ] if ;
 108
 109 M: register r/m reg-code ;
 110
 111 ! Immediate operands
 112 UNION: immediate byte integer ;
 113
 114 GENERIC: fits-in-byte? ( value -- ? )
 115
 116 M: byte fits-in-byte? drop t ;
 117
 118 M: integer fits-in-byte? -128 127 between? ;
 119
 120 GENERIC: modifier ( op -- n )
 121
 122 M: indirect modifier
 123     dup base>> [
 124         displacement>> {
 125             { [ dup not ] [ BIN: 00 ] }
 126             { [ dup fits-in-byte? ] [ BIN: 01 ] }
 127             { [ dup immediate? ] [ BIN: 10 ] }
 128         } cond nip
 129     ] [
 130         drop BIN: 00
 131     ] if ;
 132
 133 M: register modifier drop BIN: 11 ;
 134
 135 GENERIC# n, 1 ( value n -- )
 136
 137 M: integer n, >le % ;
 138 M: byte n, [ value>> ] dip n, ;
 139 : 1, ( n -- ) 1 n, ; inline
 140 : 4, ( n -- ) 4 n, ; inline
 141 : 2, ( n -- ) 2 n, ; inline
 142 : cell, ( n -- ) bootstrap-cell n, ; inline
 143
 144 : mod-r/m, ( reg# indirect -- )
 145     [ 3 shift ] [ [ modifier 6 shift ] [ r/m ] bi ] bi* bitor bitor , ;
 146
 147 : sib, ( indirect -- )
 148     dup sib-present? [
 149         [ indirect-base* ]
 150         [ indirect-index* 3 shift ]
 151         [ indirect-scale* 6 shift ] tri bitor bitor ,
 152     ] [
 153         drop
 154     ] if ;
 155
 156 GENERIC: displacement, ( op -- )
 157
 158 M: indirect displacement,
 159     dup displacement>> dup [
 160         swap base>>
 161         [ dup fits-in-byte? [ , ] [ 4, ] if ] [ 4, ] if
 162     ] [
 163         2drop
 164     ] if ;
 165
 166 M: register displacement, drop ;
 167
 168 : addressing ( reg# indirect -- )
 169     [ mod-r/m, ] [ sib, ] [ displacement, ] tri ;
 170
 171 ! Utilities
 172 UNION: operand register indirect ;
 173
 174 GENERIC: operand-64? ( operand -- ? )
 175
 176 M: indirect operand-64?
 177     [ base>> ] [ index>> ] bi [ operand-64? ] either? ;
 178
 179 M: register-64 operand-64? drop t ;
 180
 181 M: object operand-64? drop f ;
 182
 183 : rex.w? ( rex.w reg r/m -- ? )
 184     {
 185         { [ dup register-128? ] [ drop operand-64? ] }
 186         { [ dup not ] [ drop operand-64? ] }
 187         [ nip operand-64? ]
 188     } cond and ;
 189
 190 : rex.r ( m op -- n )
 191     extended? [ BIN: 00000100 bitor ] when ;
 192
 193 : rex.b ( m op -- n )
 194     [ extended? [ BIN: 00000001 bitor ] when ] keep
 195     dup indirect? [
 196         index>> extended? [ BIN: 00000010 bitor ] when
 197     ] [
 198         drop
 199     ] if ;
 200
 201 : rex-prefix ( reg r/m rex.w -- )
 202     #! Compile an AMD64 REX prefix.
 203     2over rex.w? BIN: 01001000 BIN: 01000000 ?
 204     swap rex.r swap rex.b
 205     dup BIN: 01000000 = [ drop ] [ , ] if ;
 206
 207 : 16-prefix ( reg r/m -- )
 208     [ register-16? ] either? [ HEX: 66 , ] when ;
 209
 210 : prefix ( reg r/m rex.w -- ) 2over 16-prefix rex-prefix ;
 211
 212 : prefix-1 ( reg rex.w -- ) f swap prefix ;
 213
 214 : short-operand ( reg rex.w n -- )
 215     #! Some instructions encode their single operand as part of
 216     #! the opcode.
 217     [ dupd prefix-1 reg-code ] dip + , ;
 218
 219 : opcode, ( opcode -- ) dup array? [ % ] [ , ] if ;
 220
 221 : extended-opcode ( opcode -- opcode' ) OCT: 17 swap 2array ;
 222
 223 : ssse3-opcode ( opcode -- opcode' ) OCT: 17 sequences:prefix ;
 224
 225 : extended-opcode, ( opcode -- ) extended-opcode opcode, ;
 226
 227 : opcode-or ( opcode mask -- opcode' )
 228     swap dup array?
 229     [ unclip-last rot bitor suffix ] [ bitor ] if ;
 230
 231 : 1-operand ( op reg,rex.w,opcode -- )
 232     #! The 'reg' is not really a register, but a value for the
 233     #! 'reg' field of the mod-r/m byte.
 234     first3 [ [ over ] dip prefix-1 ] dip opcode, swap addressing ;
 235
 236 : immediate-operand-size-bit ( imm dst reg,rex.w,opcode -- imm dst reg,rex.w,opcode )
 237     pick integer? [ first3 BIN: 1 opcode-or 3array ] when ;
 238
 239 : immediate-1 ( imm dst reg,rex.w,opcode -- )
 240     immediate-operand-size-bit 1-operand 1, ;
 241
 242 : immediate-4 ( imm dst reg,rex.w,opcode -- )
 243     immediate-operand-size-bit 1-operand 4, ;
 244
 245 : immediate-fits-in-size-bit ( imm dst reg,rex.w,opcode -- imm dst reg,rex.w,opcode )
 246     pick integer? [ first3 BIN: 10 opcode-or 3array ] when ;
 247
 248 : immediate-1/4 ( imm dst reg,rex.w,opcode -- )
 249     #! If imm is a byte, compile the opcode and the byte.
 250     #! Otherwise, set the 8-bit operand flag in the opcode, and
 251     #! compile the cell. The 'reg' is not really a register, but
 252     #! a value for the 'reg' field of the mod-r/m byte.
 253     pick fits-in-byte? [
 254         immediate-fits-in-size-bit immediate-1
 255     ] [
 256         immediate-4
 257     ] if ;
 258
 259 : (2-operand) ( dst src op -- )
 260     [ 2dup t rex-prefix ] dip opcode,
 261     reg-code swap addressing ;
 262
 263 : direction-bit ( dst src op -- dst' src' op' )
 264     pick register? pick register? not and
 265     [ BIN: 10 opcode-or swapd ] when ;
 266
 267 : operand-size-bit ( dst src op -- dst' src' op' )
 268     over register-8? [ BIN: 1 opcode-or ] unless ;
 269
 270 : 2-operand ( dst src op -- )
 271     #! Sets the opcode's direction bit. It is set if the
 272     #! destination is a direct register operand.
 273     2over 16-prefix
 274     direction-bit
 275     operand-size-bit
 276     (2-operand) ;
 277
 278 PRIVATE>
 279
 280 : [] ( reg/displacement -- indirect )
 281     dup integer? [ [ f f f ] dip ] [ f f f ] if <indirect> ;
 282
 283 : [+] ( reg displacement -- indirect )
 284     dup integer?
 285     [ dup zero? [ drop f ] when [ f f ] dip ]
 286     [ f f ] if
 287     <indirect> ;
 288
 289 ! Moving stuff
 290 GENERIC: PUSH ( op -- )
 291 M: register PUSH f HEX: 50 short-operand ;
 292 M: immediate PUSH HEX: 68 , 4, ;
 293 M: operand PUSH { BIN: 110 f HEX: ff } 1-operand ;
 294
 295 GENERIC: POP ( op -- )
 296 M: register POP f HEX: 58 short-operand ;
 297 M: operand POP { BIN: 000 f HEX: 8f } 1-operand ;
 298
 299 ! MOV where the src is immediate.
 300 GENERIC: (MOV-I) ( src dst -- )
 301 M: register (MOV-I) t HEX: b8 short-operand cell, ;
 302 M: operand (MOV-I)
 303     { BIN: 000 t HEX: c6 }
 304     pick byte? [ immediate-1 ] [ immediate-4 ] if ;
 305
 306 GENERIC: MOV ( dst src -- )
 307 M: immediate MOV swap (MOV-I) ;
 308 M: operand MOV HEX: 88 2-operand ;
 309
 310 : LEA ( dst src -- ) swap HEX: 8d 2-operand ;
 311
 312 ! Control flow
 313 GENERIC: JMP ( op -- )
 314 M: integer JMP HEX: e9 , 4, ;
 315 M: operand JMP { BIN: 100 t HEX: ff } 1-operand ;
 316
 317 GENERIC: CALL ( op -- )
 318 M: integer CALL HEX: e8 , 4, ;
 319 M: operand CALL { BIN: 010 t HEX: ff } 1-operand ;
 320
 321 GENERIC# JUMPcc 1 ( addr opcode -- )
 322 M: integer JUMPcc extended-opcode, 4, ;
 323
 324 : JO  ( dst -- ) HEX: 80 JUMPcc ;
 325 : JNO ( dst -- ) HEX: 81 JUMPcc ;
 326 : JB  ( dst -- ) HEX: 82 JUMPcc ;
 327 : JAE ( dst -- ) HEX: 83 JUMPcc ;
 328 : JE  ( dst -- ) HEX: 84 JUMPcc ; ! aka JZ
 329 : JNE ( dst -- ) HEX: 85 JUMPcc ;
 330 : JBE ( dst -- ) HEX: 86 JUMPcc ;
 331 : JA  ( dst -- ) HEX: 87 JUMPcc ;
 332 : JS  ( dst -- ) HEX: 88 JUMPcc ;
 333 : JNS ( dst -- ) HEX: 89 JUMPcc ;
 334 : JP  ( dst -- ) HEX: 8a JUMPcc ;
 335 : JNP ( dst -- ) HEX: 8b JUMPcc ;
 336 : JL  ( dst -- ) HEX: 8c JUMPcc ;
 337 : JGE ( dst -- ) HEX: 8d JUMPcc ;
 338 : JLE ( dst -- ) HEX: 8e JUMPcc ;
 339 : JG  ( dst -- ) HEX: 8f JUMPcc ;
 340
 341 : LEAVE ( -- ) HEX: c9 , ;
 342
 343 : RET ( n -- )
 344     dup zero? [ drop HEX: c3 , ] [ HEX: c2 , 2, ] if ;
 345
 346 ! Arithmetic
 347
 348 GENERIC: ADD ( dst src -- )
 349 M: immediate ADD swap { BIN: 000 t HEX: 80 } immediate-1/4 ;
 350 M: operand ADD OCT: 000 2-operand ;
 351
 352 GENERIC: OR ( dst src -- )
 353 M: immediate OR swap { BIN: 001 t HEX: 80 } immediate-1/4 ;
 354 M: operand OR OCT: 010 2-operand ;
 355
 356 GENERIC: ADC ( dst src -- )
 357 M: immediate ADC swap { BIN: 010 t HEX: 80 } immediate-1/4 ;
 358 M: operand ADC OCT: 020 2-operand ;
 359
 360 GENERIC: SBB ( dst src -- )
 361 M: immediate SBB swap { BIN: 011 t HEX: 80 } immediate-1/4 ;
 362 M: operand SBB OCT: 030 2-operand ;
 363
 364 GENERIC: AND ( dst src -- )
 365 M: immediate AND swap { BIN: 100 t HEX: 80 } immediate-1/4 ;
 366 M: operand AND OCT: 040 2-operand ;
 367
 368 GENERIC: SUB ( dst src -- )
 369 M: immediate SUB swap { BIN: 101 t HEX: 80 } immediate-1/4 ;
 370 M: operand SUB OCT: 050 2-operand ;
 371
 372 GENERIC: XOR ( dst src -- )
 373 M: immediate XOR swap { BIN: 110 t HEX: 80 } immediate-1/4 ;
 374 M: operand XOR OCT: 060 2-operand ;
 375
 376 GENERIC: CMP ( dst src -- )
 377 M: immediate CMP swap { BIN: 111 t HEX: 80 } immediate-1/4 ;
 378 M: operand CMP OCT: 070 2-operand ;
 379
 380 GENERIC: TEST ( dst src -- )
 381 M: immediate TEST swap { BIN: 0 t HEX: f7 } immediate-4 ;
 382 M: operand TEST OCT: 204 2-operand ;
 383
 384 : XCHG ( dst src -- ) OCT: 207 2-operand ;
 385
 386 : BSR ( dst src -- ) swap { HEX: 0f HEX: bd } (2-operand) ;
 387
 388 : NOT  ( dst -- ) { BIN: 010 t HEX: f7 } 1-operand ;
 389 : NEG  ( dst -- ) { BIN: 011 t HEX: f7 } 1-operand ;
 390 : MUL  ( dst -- ) { BIN: 100 t HEX: f7 } 1-operand ;
 391 : IMUL ( src -- ) { BIN: 101 t HEX: f7 } 1-operand ;
 392 : DIV  ( dst -- ) { BIN: 110 t HEX: f7 } 1-operand ;
 393 : IDIV ( src -- ) { BIN: 111 t HEX: f7 } 1-operand ;
 394
 395 : CDQ ( -- ) HEX: 99 , ;
 396 : CQO ( -- ) HEX: 48 , CDQ ;
 397
 398 : (SHIFT) ( dst src op -- )
 399     over CL eq? [
 400         nip t HEX: d3 3array 1-operand
 401     ] [
 402         swapd t HEX: c0 3array immediate-1
 403     ] if ; inline
 404
 405 : ROL ( dst n -- ) BIN: 000 (SHIFT) ;
 406 : ROR ( dst n -- ) BIN: 001 (SHIFT) ;
 407 : RCL ( dst n -- ) BIN: 010 (SHIFT) ;
 408 : RCR ( dst n -- ) BIN: 011 (SHIFT) ;
 409 : SHL ( dst n -- ) BIN: 100 (SHIFT) ;
 410 : SHR ( dst n -- ) BIN: 101 (SHIFT) ;
 411 : SAR ( dst n -- ) BIN: 111 (SHIFT) ;
 412
 413 : IMUL2 ( dst src -- )
 414     OCT: 257 extended-opcode (2-operand) ;
 415
 416 : IMUL3 ( dst src imm -- )
 417     dup fits-in-byte? [
 418         [ swap HEX: 6a 2-operand ] dip 1,
 419     ] [
 420         [ swap HEX: 68 2-operand ] dip 4,
 421     ] if ;
 422
 423 : MOVSX ( dst src -- )
 424     swap
 425     over register-32? OCT: 143 OCT: 276 extended-opcode ?
 426     pick register-16? [ BIN: 1 opcode-or ] when
 427     (2-operand) ;
 428
 429 : MOVZX ( dst src -- )
 430     swap
 431     OCT: 266 extended-opcode
 432     pick register-16? [ BIN: 1 opcode-or ] when
 433     (2-operand) ;
 434
 435 ! Conditional move
 436 : MOVcc ( dst src cc -- ) extended-opcode swapd (2-operand) ;
 437
 438 : CMOVO  ( dst src -- ) HEX: 40 MOVcc ;
 439 : CMOVNO ( dst src -- ) HEX: 41 MOVcc ;
 440 : CMOVB  ( dst src -- ) HEX: 42 MOVcc ;
 441 : CMOVAE ( dst src -- ) HEX: 43 MOVcc ;
 442 : CMOVE  ( dst src -- ) HEX: 44 MOVcc ; ! aka CMOVZ
 443 : CMOVNE ( dst src -- ) HEX: 45 MOVcc ;
 444 : CMOVBE ( dst src -- ) HEX: 46 MOVcc ;
 445 : CMOVA  ( dst src -- ) HEX: 47 MOVcc ;
 446 : CMOVS  ( dst src -- ) HEX: 48 MOVcc ;
 447 : CMOVNS ( dst src -- ) HEX: 49 MOVcc ;
 448 : CMOVP  ( dst src -- ) HEX: 4a MOVcc ;
 449 : CMOVNP ( dst src -- ) HEX: 4b MOVcc ;
 450 : CMOVL  ( dst src -- ) HEX: 4c MOVcc ;
 451 : CMOVGE ( dst src -- ) HEX: 4d MOVcc ;
 452 : CMOVLE ( dst src -- ) HEX: 4e MOVcc ;
 453 : CMOVG  ( dst src -- ) HEX: 4f MOVcc ;
 454
 455 ! CPU Identification
 456
 457 : CPUID ( -- ) HEX: a2 extended-opcode, ;
 458
 459 ! Misc
 460
 461 : NOP ( -- ) HEX: 90 , ;
 462 : PAUSE ( -- ) HEX: f3 , HEX: 90 , ;
 463
 464 : RDPMC ( -- ) HEX: 0f , HEX: 33 , ;
 465
 466 ! x87 Floating Point Unit
 467
 468 : FSTPS ( operand -- ) { BIN: 011 f HEX: d9 } 1-operand ;
 469 : FSTPL ( operand -- ) { BIN: 011 f HEX: dd } 1-operand ;
 470
 471 : FLDS ( operand -- ) { BIN: 000 f HEX: d9 } 1-operand ;
 472 : FLDL ( operand -- ) { BIN: 000 f HEX: dd } 1-operand ;
 473
 474 ! SSE multimedia instructions
 475
 476 <PRIVATE
 477
 478 : direction-bit-sse ( dst src op1 -- dst' src' op1' )
 479     pick register-128? [ swapd ] [ BIN: 1 bitor ] if ;
 480
 481 : 2-operand-sse ( dst src op1 op2 -- )
 482     [ , ] when* direction-bit-sse extended-opcode (2-operand) ;
 483
 484 : direction-op-sse ( dst src op1s -- dst' src' op1' )
 485     pick register-128? [ swapd first ] [ second ] if ;
 486
 487 : 2-operand-rm-mr-sse ( dst src op1{rm,mr} op2 -- )
 488     [ , ] when* direction-op-sse extended-opcode (2-operand) ;
 489
 490 : 2-operand-ssse3 ( dst src op1 op2 -- )
 491     [ , ] when* swapd ssse3-opcode (2-operand) ;
 492
 493 : 2-operand-rm-sse ( dst src op1 op2 -- )
 494     [ , ] when* swapd extended-opcode (2-operand) ;
 495
 496 : 2-operand-mr-sse ( dst src op1 op2 -- )
 497     [ , ] when* extended-opcode (2-operand) ;
 498
 499 : 2-operand-int/sse ( dst src op1 op2 -- )
 500     [ , ] when* swapd extended-opcode (2-operand) ;
 501
 502 : 3-operand-sse ( dst src imm op1 op2 -- )
 503     rot [ 2-operand-rm-sse ] dip , ;
 504
 505 : 2-operand-sse-cmp ( dst src cmp op1 op2 -- )
 506     3-operand-sse ; inline
 507
 508 : 2-operand-sse-shift ( dst imm reg op1 op2 -- )
 509     [ , ] when*
 510     [ f HEX: 0f ] dip 2array 3array
 511     swapd 1-operand , ;
 512
 513 PRIVATE>
 514
 515 : MOVUPS     ( dest src -- ) HEX: 10 f       2-operand-sse ;
 516 : MOVUPD     ( dest src -- ) HEX: 10 HEX: 66 2-operand-sse ;
 517 : MOVSD      ( dest src -- ) HEX: 10 HEX: f2 2-operand-sse ;
 518 : MOVSS      ( dest src -- ) HEX: 10 HEX: f3 2-operand-sse ;
 519 : MOVLPS     ( dest src -- ) HEX: 12 f       2-operand-sse ;
 520 : MOVLPD     ( dest src -- ) HEX: 12 HEX: 66 2-operand-sse ;
 521 : MOVDDUP    ( dest src -- ) HEX: 12 HEX: f2 2-operand-rm-sse ;
 522 : MOVSLDUP   ( dest src -- ) HEX: 12 HEX: f3 2-operand-rm-sse ;
 523 : UNPCKLPS   ( dest src -- ) HEX: 14 f       2-operand-rm-sse ;
 524 : UNPCKLPD   ( dest src -- ) HEX: 14 HEX: 66 2-operand-rm-sse ;
 525 : UNPCKHPS   ( dest src -- ) HEX: 15 f       2-operand-rm-sse ;
 526 : UNPCKHPD   ( dest src -- ) HEX: 15 HEX: 66 2-operand-rm-sse ;
 527 : MOVHPS     ( dest src -- ) HEX: 16 f       2-operand-sse ;
 528 : MOVHPD     ( dest src -- ) HEX: 16 HEX: 66 2-operand-sse ;
 529 : MOVSHDUP   ( dest src -- ) HEX: 16 HEX: f3 2-operand-rm-sse ;
 530
 531 : PREFETCHNTA ( mem -- )  { BIN: 000 f { HEX: 0f HEX: 18 } } 1-operand ;
 532 : PREFETCHT0  ( mem -- )  { BIN: 001 f { HEX: 0f HEX: 18 } } 1-operand ;
 533 : PREFETCHT1  ( mem -- )  { BIN: 010 f { HEX: 0f HEX: 18 } } 1-operand ;
 534 : PREFETCHT2  ( mem -- )  { BIN: 011 f { HEX: 0f HEX: 18 } } 1-operand ;
 535
 536 : MOVAPS     ( dest src -- ) HEX: 28 f       2-operand-sse ;
 537 : MOVAPD     ( dest src -- ) HEX: 28 HEX: 66 2-operand-sse ;
 538 : CVTSI2SD   ( dest src -- ) HEX: 2a HEX: f2 2-operand-int/sse ;
 539 : CVTSI2SS   ( dest src -- ) HEX: 2a HEX: f3 2-operand-int/sse ;
 540 : MOVNTPS    ( dest src -- ) HEX: 2b f       2-operand-mr-sse ;
 541 : MOVNTPD    ( dest src -- ) HEX: 2b HEX: 66 2-operand-mr-sse ;
 542 : CVTTSD2SI  ( dest src -- ) HEX: 2c HEX: f2 2-operand-int/sse ;
 543 : CVTTSS2SI  ( dest src -- ) HEX: 2c HEX: f3 2-operand-int/sse ;
 544 : CVTSD2SI   ( dest src -- ) HEX: 2d HEX: f2 2-operand-int/sse ;
 545 : CVTSS2SI   ( dest src -- ) HEX: 2d HEX: f3 2-operand-int/sse ;
 546 : UCOMISS    ( dest src -- ) HEX: 2e f       2-operand-rm-sse ;
 547 : UCOMISD    ( dest src -- ) HEX: 2e HEX: 66 2-operand-rm-sse ;
 548 : COMISS     ( dest src -- ) HEX: 2f f       2-operand-rm-sse ;
 549 : COMISD     ( dest src -- ) HEX: 2f HEX: 66 2-operand-rm-sse ;
 550 : PSHUFB     ( dest src -- ) { HEX: 38 HEX: 00 } HEX: 66 2-operand-ssse3 ;
 551 : PHADDW     ( dest src -- ) { HEX: 38 HEX: 01 } HEX: 66 2-operand-ssse3 ;
 552 : PHADDD     ( dest src -- ) { HEX: 38 HEX: 02 } HEX: 66 2-operand-ssse3 ;
 553 : PHADDSW    ( dest src -- ) { HEX: 38 HEX: 03 } HEX: 66 2-operand-ssse3 ;
 554 : PMADDUBSW  ( dest src -- ) { HEX: 38 HEX: 04 } HEX: 66 2-operand-ssse3 ;
 555 : PHSUBW     ( dest src -- ) { HEX: 38 HEX: 05 } HEX: 66 2-operand-ssse3 ;
 556 : PHSUBD     ( dest src -- ) { HEX: 38 HEX: 06 } HEX: 66 2-operand-ssse3 ;
 557 : PHSUBSW    ( dest src -- ) { HEX: 38 HEX: 07 } HEX: 66 2-operand-ssse3 ;
 558 : PSIGNB     ( dest src -- ) { HEX: 38 HEX: 08 } HEX: 66 2-operand-ssse3 ;
 559 : PSIGNW     ( dest src -- ) { HEX: 38 HEX: 09 } HEX: 66 2-operand-ssse3 ;
 560 : PSIGND     ( dest src -- ) { HEX: 38 HEX: 0A } HEX: 66 2-operand-ssse3 ;
 561 : PMULHRSW   ( dest src -- ) { HEX: 38 HEX: 0B } HEX: 66 2-operand-ssse3 ;
 562 : PABSB      ( dest src -- ) { HEX: 38 HEX: 1C } HEX: 66 2-operand-ssse3 ;
 563 : PABSW      ( dest src -- ) { HEX: 38 HEX: 1D } HEX: 66 2-operand-ssse3 ;
 564 : PABSD      ( dest src -- ) { HEX: 38 HEX: 1E } HEX: 66 2-operand-ssse3 ;
 565 : PALIGNR    ( dest src -- ) { HEX: 3A HEX: 0F } HEX: 66 2-operand-ssse3 ;
 566 : MOVMSKPS   ( dest src -- ) HEX: 50 f       2-operand-int/sse ;
 567 : MOVMSKPD   ( dest src -- ) HEX: 50 HEX: 66 2-operand-int/sse ;
 568 : SQRTPS     ( dest src -- ) HEX: 51 f       2-operand-rm-sse ;
 569 : SQRTPD     ( dest src -- ) HEX: 51 HEX: 66 2-operand-rm-sse ;
 570 : SQRTSD     ( dest src -- ) HEX: 51 HEX: f2 2-operand-rm-sse ;
 571 : SQRTSS     ( dest src -- ) HEX: 51 HEX: f3 2-operand-rm-sse ;
 572 : RSQRTPS    ( dest src -- ) HEX: 52 f       2-operand-rm-sse ;
 573 : RSQRTSS    ( dest src -- ) HEX: 52 HEX: f3 2-operand-rm-sse ;
 574 : RCPPS      ( dest src -- ) HEX: 53 f       2-operand-rm-sse ;
 575 : RCPSS      ( dest src -- ) HEX: 53 HEX: f3 2-operand-rm-sse ;
 576 : ANDPS      ( dest src -- ) HEX: 54 f       2-operand-rm-sse ;
 577 : ANDPD      ( dest src -- ) HEX: 54 HEX: 66 2-operand-rm-sse ;
 578 : ANDNPS     ( dest src -- ) HEX: 55 f       2-operand-rm-sse ;
 579 : ANDNPD     ( dest src -- ) HEX: 55 HEX: 66 2-operand-rm-sse ;
 580 : ORPS       ( dest src -- ) HEX: 56 f       2-operand-rm-sse ;
 581 : ORPD       ( dest src -- ) HEX: 56 HEX: 66 2-operand-rm-sse ;
 582 : XORPS      ( dest src -- ) HEX: 57 f       2-operand-rm-sse ;
 583 : XORPD      ( dest src -- ) HEX: 57 HEX: 66 2-operand-rm-sse ;
 584 : ADDPS      ( dest src -- ) HEX: 58 f       2-operand-rm-sse ;
 585 : ADDPD      ( dest src -- ) HEX: 58 HEX: 66 2-operand-rm-sse ;
 586 : ADDSD      ( dest src -- ) HEX: 58 HEX: f2 2-operand-rm-sse ;
 587 : ADDSS      ( dest src -- ) HEX: 58 HEX: f3 2-operand-rm-sse ;
 588 : MULPS      ( dest src -- ) HEX: 59 f       2-operand-rm-sse ;
 589 : MULPD      ( dest src -- ) HEX: 59 HEX: 66 2-operand-rm-sse ;
 590 : MULSD      ( dest src -- ) HEX: 59 HEX: f2 2-operand-rm-sse ;
 591 : MULSS      ( dest src -- ) HEX: 59 HEX: f3 2-operand-rm-sse ;
 592 : CVTPS2PD   ( dest src -- ) HEX: 5a f       2-operand-rm-sse ;
 593 : CVTPD2PS   ( dest src -- ) HEX: 5a HEX: 66 2-operand-rm-sse ;
 594 : CVTSD2SS   ( dest src -- ) HEX: 5a HEX: f2 2-operand-rm-sse ;
 595 : CVTSS2SD   ( dest src -- ) HEX: 5a HEX: f3 2-operand-rm-sse ;
 596 : CVTDQ2PS   ( dest src -- ) HEX: 5b f       2-operand-rm-sse ;
 597 : CVTPS2DQ   ( dest src -- ) HEX: 5b HEX: 66 2-operand-rm-sse ;
 598 : CVTTPS2DQ  ( dest src -- ) HEX: 5b HEX: f3 2-operand-rm-sse ;
 599 : SUBPS      ( dest src -- ) HEX: 5c f       2-operand-rm-sse ;
 600 : SUBPD      ( dest src -- ) HEX: 5c HEX: 66 2-operand-rm-sse ;
 601 : SUBSD      ( dest src -- ) HEX: 5c HEX: f2 2-operand-rm-sse ;
 602 : SUBSS      ( dest src -- ) HEX: 5c HEX: f3 2-operand-rm-sse ;
 603 : MINPS      ( dest src -- ) HEX: 5d f       2-operand-rm-sse ;
 604 : MINPD      ( dest src -- ) HEX: 5d HEX: 66 2-operand-rm-sse ;
 605 : MINSD      ( dest src -- ) HEX: 5d HEX: f2 2-operand-rm-sse ;
 606 : MINSS      ( dest src -- ) HEX: 5d HEX: f3 2-operand-rm-sse ;
 607 : DIVPS      ( dest src -- ) HEX: 5e f       2-operand-rm-sse ;
 608 : DIVPD      ( dest src -- ) HEX: 5e HEX: 66 2-operand-rm-sse ;
 609 : DIVSD      ( dest src -- ) HEX: 5e HEX: f2 2-operand-rm-sse ;
 610 : DIVSS      ( dest src -- ) HEX: 5e HEX: f3 2-operand-rm-sse ;
 611 : MAXPS      ( dest src -- ) HEX: 5f f       2-operand-rm-sse ;
 612 : MAXPD      ( dest src -- ) HEX: 5f HEX: 66 2-operand-rm-sse ;
 613 : MAXSD      ( dest src -- ) HEX: 5f HEX: f2 2-operand-rm-sse ;
 614 : MAXSS      ( dest src -- ) HEX: 5f HEX: f3 2-operand-rm-sse ;
 615 : PUNPCKLQDQ ( dest src -- ) HEX: 6c HEX: 66 2-operand-rm-sse ;
 616 : PUNPCKHQDQ ( dest src -- ) HEX: 6d HEX: 66 2-operand-rm-sse ;
 617
 618 : MOVDQA     ( dest src -- ) { HEX: 6f HEX: 7f } HEX: 66 2-operand-rm-mr-sse ;
 619 : MOVDQU     ( dest src -- ) { HEX: 6f HEX: 7f } HEX: f3 2-operand-rm-mr-sse ;
 620
 621 : PSHUFD     ( dest src imm -- ) HEX: 70 HEX: 66 3-operand-sse ;
 622 : PSHUFLW    ( dest src imm -- ) HEX: 70 HEX: f2 3-operand-sse ;
 623 : PSHUFHW    ( dest src imm -- ) HEX: 70 HEX: f3 3-operand-sse ;
 624 : PSRLW      ( dest imm -- ) BIN: 010 HEX: 71 HEX: 66 2-operand-sse-shift ;
 625 : PSRAW      ( dest imm -- ) BIN: 100 HEX: 71 HEX: 66 2-operand-sse-shift ;
 626 : PSLLW      ( dest imm -- ) BIN: 110 HEX: 71 HEX: 66 2-operand-sse-shift ;
 627 : PSRLD      ( dest imm -- ) BIN: 010 HEX: 72 HEX: 66 2-operand-sse-shift ;
 628 : PSRAD      ( dest imm -- ) BIN: 100 HEX: 72 HEX: 66 2-operand-sse-shift ;
 629 : PSLLD      ( dest imm -- ) BIN: 110 HEX: 72 HEX: 66 2-operand-sse-shift ;
 630 : PSRLQ      ( dest imm -- ) BIN: 010 HEX: 73 HEX: 66 2-operand-sse-shift ;
 631 : PSRLDQ     ( dest imm -- ) BIN: 011 HEX: 73 HEX: 66 2-operand-sse-shift ;
 632 : PSLLQ      ( dest imm -- ) BIN: 110 HEX: 73 HEX: 66 2-operand-sse-shift ;
 633 : PSLLDQ     ( dest imm -- ) BIN: 111 HEX: 73 HEX: 66 2-operand-sse-shift ;
 634
 635 : PCMPEQB    ( dest src -- ) HEX: 74 HEX: 66 2-operand-rm-sse ;
 636 : PCMPEQW    ( dest src -- ) HEX: 75 HEX: 66 2-operand-rm-sse ;
 637 : PCMPEQD    ( dest src -- ) HEX: 76 HEX: 66 2-operand-rm-sse ;
 638 : HADDPD     ( dest src -- ) HEX: 7c HEX: 66 2-operand-rm-sse ;
 639 : HADDPS     ( dest src -- ) HEX: 7c HEX: f2 2-operand-rm-sse ;
 640 : HSUBPD     ( dest src -- ) HEX: 7d HEX: 66 2-operand-rm-sse ;
 641 : HSUBPS     ( dest src -- ) HEX: 7d HEX: f2 2-operand-rm-sse ;
 642
 643 : LDMXCSR    ( src -- )  { BIN: 010 f { HEX: 0f HEX: ae } } 1-operand ;
 644 : STMXCSR    ( dest -- ) { BIN: 011 f { HEX: 0f HEX: ae } } 1-operand ;
 645 : LFENCE     ( -- ) HEX: 0f , HEX: ae , OCT: 350 , ;
 646 : MFENCE     ( -- ) HEX: 0f , HEX: ae , OCT: 360 , ;
 647 : SFENCE     ( -- ) HEX: 0f , HEX: ae , OCT: 370 , ;
 648
 649 : CMPEQPS    ( dest src -- ) 0 HEX: c2 f       2-operand-sse-cmp ;
 650 : CMPLTPS    ( dest src -- ) 1 HEX: c2 f       2-operand-sse-cmp ;
 651 : CMPLEPS    ( dest src -- ) 2 HEX: c2 f       2-operand-sse-cmp ;
 652 : CMPUNORDPS ( dest src -- ) 3 HEX: c2 f       2-operand-sse-cmp ;
 653 : CMPNEQPS   ( dest src -- ) 4 HEX: c2 f       2-operand-sse-cmp ;
 654 : CMPNLTPS   ( dest src -- ) 5 HEX: c2 f       2-operand-sse-cmp ;
 655 : CMPNLEPS   ( dest src -- ) 6 HEX: c2 f       2-operand-sse-cmp ;
 656 : CMPORDPS   ( dest src -- ) 7 HEX: c2 f       2-operand-sse-cmp ;
 657
 658 : CMPEQPD    ( dest src -- ) 0 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 659 : CMPLTPD    ( dest src -- ) 1 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 660 : CMPLEPD    ( dest src -- ) 2 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 661 : CMPUNORDPD ( dest src -- ) 3 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 662 : CMPNEQPD   ( dest src -- ) 4 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 663 : CMPNLTPD   ( dest src -- ) 5 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 664 : CMPNLEPD   ( dest src -- ) 6 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 665 : CMPORDPD   ( dest src -- ) 7 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 666
 667 : CMPEQSD    ( dest src -- ) 0 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 668 : CMPLTSD    ( dest src -- ) 1 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 669 : CMPLESD    ( dest src -- ) 2 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 670 : CMPUNORDSD ( dest src -- ) 3 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 671 : CMPNEQSD   ( dest src -- ) 4 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 672 : CMPNLTSD   ( dest src -- ) 5 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 673 : CMPNLESD   ( dest src -- ) 6 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 674 : CMPORDSD   ( dest src -- ) 7 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 675
 676 : CMPEQSS    ( dest src -- ) 0 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 677 : CMPLTSS    ( dest src -- ) 1 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 678 : CMPLESS    ( dest src -- ) 2 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 679 : CMPUNORDSS ( dest src -- ) 3 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 680 : CMPNEQSS   ( dest src -- ) 4 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 681 : CMPNLTSS   ( dest src -- ) 5 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 682 : CMPNLESS   ( dest src -- ) 6 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 683 : CMPORDSS   ( dest src -- ) 7 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 684
 685 : MOVNTI     ( dest src -- ) { HEX: 0f HEX: c3 } (2-operand) ;
 686
 687 : PINSRW     ( dest src imm -- ) HEX: c4 HEX: 66 3-operand-sse ;
 688 : PEXTRW     ( dest src imm -- ) HEX: c5 HEX: 66 3-operand-sse ;
 689 : SHUFPS     ( dest src imm -- ) HEX: c6 f       3-operand-sse ;
 690 : SHUFPD     ( dest src imm -- ) HEX: c6 HEX: 66 3-operand-sse ;
 691
 692 : ADDSUBPD   ( dest src -- ) HEX: d0 HEX: 66 2-operand-rm-sse ;
 693 : ADDSUBPS   ( dest src -- ) HEX: d0 HEX: f2 2-operand-rm-sse ;
 694 : PADDQ      ( dest src -- ) HEX: d4 HEX: 66 2-operand-rm-sse ;
 695 : PMINUB     ( dest src -- ) HEX: da HEX: 66 2-operand-rm-sse ;
 696 : PMAXUB     ( dest src -- ) HEX: de HEX: 66 2-operand-rm-sse ;
 697 : PAVGB      ( dest src -- ) HEX: e0 HEX: 66 2-operand-rm-sse ;
 698 : PAVGW      ( dest src -- ) HEX: e3 HEX: 66 2-operand-rm-sse ;
 699 : PMULHUW    ( dest src -- ) HEX: e4 HEX: 66 2-operand-rm-sse ;
 700 : CVTTPD2DQ  ( dest src -- ) HEX: e6 HEX: 66 2-operand-rm-sse ;
 701 : CVTPD2DQ   ( dest src -- ) HEX: e6 HEX: f2 2-operand-rm-sse ;
 702 : CVTDQ2PD   ( dest src -- ) HEX: e6 HEX: f3 2-operand-rm-sse ;
 703
 704 : MOVNTDQ    ( dest src -- ) HEX: e7 HEX: 66 2-operand-mr-sse ;
 705
 706 : PMINSW     ( dest src -- ) HEX: ea HEX: 66 2-operand-rm-sse ;
 707 : PMAXSW     ( dest src -- ) HEX: ee HEX: 66 2-operand-rm-sse ;
 708 : LDDQU      ( dest src -- ) HEX: f0 HEX: f2 2-operand-rm-sse ;
 709 : PMULUDQ    ( dest src -- ) HEX: f4 HEX: 66 2-operand-rm-sse ;
 710 : PSADBW     ( dest src -- ) HEX: f6 HEX: 66 2-operand-rm-sse ;
 711
 712 : MASKMOVDQU ( dest src -- ) HEX: f7 HEX: 66 2-operand-rm-sse ;
 713
 714 : PSUBQ      ( dest src -- ) HEX: fb HEX: 66 2-operand-rm-sse ;
 715
 716 ! x86-64 branch prediction hints
 717
 718 : HWNT ( -- ) HEX: 2e , ; ! Hint branch Weakly Not Taken
 719 : HST  ( -- ) HEX: 3e , ; ! Hint branch Strongly Taken
 720