basis/cpu/x86/assembler/assembler.factor

   1 ! Copyright (C) 2005, 2010 Slava Pestov, Joe Groff.
   2 ! See http://factorcode.org/license.txt for BSD license.
   3 USING: arrays io.binary kernel combinators
   4 combinators.short-circuit math math.bitwise locals namespaces
   5 make sequences words system layouts math.order accessors
   6 cpu.x86.assembler.operands cpu.x86.assembler.operands.private ;
   7 IN: cpu.x86.assembler
   8
   9 ! A postfix assembler for x86-32 and x86-64.
  10
  11 <PRIVATE
  12
  13 : reg-code ( reg -- n ) "register" word-prop 7 bitand ;
  14
  15 : indirect-base* ( op -- n ) base>> EBP or reg-code ;
  16
  17 : indirect-index* ( op -- n ) index>> ESP or reg-code ;
  18
  19 : indirect-scale* ( op -- n ) scale>> 0 or ;
  20
  21 GENERIC: sib-present? ( op -- ? )
  22
  23 M: indirect sib-present?
  24     {
  25         [ base>> { ESP RSP R12 } member? ]
  26         [ index>> ]
  27         [ scale>> ]
  28     } 1|| ;
  29
  30 M: register sib-present? drop f ;
  31
  32 GENERIC: r/m ( operand -- n )
  33
  34 M: indirect r/m
  35     dup sib-present?
  36     [ drop ESP reg-code ] [ indirect-base* ] if ;
  37
  38 M: register r/m reg-code ;
  39
  40 ! Immediate operands
  41 UNION: immediate byte integer ;
  42
  43 GENERIC: fits-in-byte? ( value -- ? )
  44
  45 M: byte fits-in-byte? drop t ;
  46
  47 M: integer fits-in-byte? -128 127 between? ;
  48
  49 GENERIC: modifier ( op -- n )
  50
  51 M: indirect modifier
  52     dup base>> [
  53         displacement>> {
  54             { [ dup not ] [ 0b00 ] }
  55             { [ dup fits-in-byte? ] [ 0b01 ] }
  56             { [ dup immediate? ] [ 0b10 ] }
  57         } cond nip
  58     ] [
  59         drop 0b00
  60     ] if ;
  61
  62 M: register modifier drop 0b11 ;
  63
  64 GENERIC#: n, 1 ( value n -- )
  65
  66 M: integer n, >le % ;
  67 M: byte n, [ value>> ] dip n, ;
  68 : 1, ( n -- ) 1 n, ; inline
  69 : 4, ( n -- ) 4 n, ; inline
  70 : 2, ( n -- ) 2 n, ; inline
  71 : cell, ( n -- ) bootstrap-cell n, ; inline
  72
  73 : mod-r/m, ( reg operand -- )
  74     [ 3 shift ] [ [ modifier 6 shift ] [ r/m ] bi ] bi* bitor bitor , ;
  75
  76 : sib, ( operand -- )
  77     dup sib-present? [
  78         [ indirect-base* ]
  79         [ indirect-index* 3 shift ]
  80         [ indirect-scale* 6 shift ] tri bitor bitor ,
  81     ] [
  82         drop
  83     ] if ;
  84
  85 GENERIC: displacement, ( op -- )
  86
  87 M: indirect displacement,
  88     dup displacement>> dup [
  89         swap base>>
  90         [ dup fits-in-byte? [ , ] [ 4, ] if ] [ 4, ] if
  91     ] [ 2drop ] if ;
  92
  93 M: register displacement, drop ;
  94
  95 : addressing ( reg operand -- )
  96     [ mod-r/m, ] [ sib, ] [ displacement, ] tri ;
  97
  98 : rex.w? ( rex.w reg r/m -- ? )
  99     {
 100         { [ over register-128? ] [ nip operand-64? ] }
 101         { [ over not ] [ nip operand-64? ] }
 102         [ drop operand-64? ]
 103     } cond and ;
 104
 105 : rex.r ( m op -- n )
 106     extended? [ 0b00000100 bitor ] when ;
 107
 108 : rex.b ( m op -- n )
 109     [ extended? [ 0b00000001 bitor ] when ] keep
 110     dup indirect? [ index>> extended? [ 0b00000010 bitor ] when ] [ drop ] if ;
 111
 112 : no-prefix? ( prefix reg r/m -- ? )
 113     [ 0b01000000 = ]
 114     [ extended-8-bit-register? not ]
 115     [ extended-8-bit-register? not ] tri*
 116     and and ;
 117
 118 :: rex-prefix ( reg r/m rex.w -- )
 119     ! Compile an AMD64 REX prefix.
 120     rex.w reg r/m rex.w? 0b01001000 0b01000000 ?
 121     reg rex.r
 122     r/m rex.b
 123     dup reg r/m no-prefix? [ drop ] [ , ] if ;
 124
 125 : 16-prefix ( reg -- )
 126     register-16? [ 0x66 , ] when ;
 127
 128 : prefix-1 ( reg rex.w -- )
 129     [ drop 16-prefix ] [ [ f ] 2dip rex-prefix ] 2bi ;
 130
 131 : short-operand ( reg rex.w n -- )
 132     ! Some instructions encode their single operand as part of
 133     ! the opcode.
 134     [ dupd prefix-1 reg-code ] dip + , ;
 135
 136 : opcode, ( opcode -- ) dup array? [ % ] [ , ] if ;
 137
 138 : extended-opcode ( opcode -- opcode' )
 139     dup array? [ 0o17 prefix ] [ 0o17 swap 2array ] if ;
 140
 141 : extended-opcode, ( opcode -- ) extended-opcode opcode, ;
 142
 143 : opcode-or ( opcode mask -- opcode' )
 144     over array?
 145     [ [ unclip-last ] dip bitor suffix ] [ bitor ] if ;
 146
 147 : 1-operand ( operand reg,rex.w,opcode -- )
 148     ! The 'reg' is not really a register, but a value for the
 149     ! 'reg' field of the mod-r/m byte.
 150     first3 [ [ over ] dip prefix-1 ] dip opcode, swap addressing ;
 151
 152 : immediate-operand-size-bit ( dst imm reg,rex.w,opcode -- imm dst reg,rex.w,opcode )
 153     over integer? [ first3 0b1 opcode-or 3array ] when ;
 154
 155 : immediate-1* ( dst imm reg,rex.w,opcode -- )
 156     swap [ 1-operand ] dip 1, ;
 157
 158 : immediate-1 ( dst imm reg,rex.w,opcode -- )
 159     immediate-operand-size-bit immediate-1* ;
 160
 161 : immediate-4 ( dst imm reg,rex.w,opcode -- )
 162     immediate-operand-size-bit swap [ 1-operand ] dip 4, ;
 163
 164 : immediate-fits-in-size-bit ( dst imm reg,rex.w,opcode -- imm dst reg,rex.w,opcode )
 165     over integer? [ first3 0b10 opcode-or 3array ] when ;
 166
 167 : immediate-1/4 ( dst imm reg,rex.w,opcode -- )
 168     over fits-in-byte? [
 169         immediate-fits-in-size-bit immediate-1
 170     ] [
 171         immediate-4
 172     ] if ;
 173
 174 : (2-operand) ( reg operand op -- )
 175     [ 2dup t rex-prefix ] dip opcode,
 176     [ reg-code ] dip addressing ;
 177
 178 : direction-bit ( dst src op -- reg operand op' )
 179     pick register? pick register? not and
 180     [ 0b10 opcode-or ] [ swapd ] if ;
 181
 182 : operand-size-bit ( reg operand op -- reg operand op' )
 183     pick register-8? [ 0b1 opcode-or ] unless ;
 184
 185 : 2-operand ( dst src op -- )
 186     direction-bit operand-size-bit
 187     pick 16-prefix
 188     (2-operand) ;
 189
 190 PRIVATE>
 191
 192 ! Segment override prefixes
 193 : CS ( -- ) 0x2e , ;
 194 : ES ( -- ) 0x26 , ;
 195 : SS ( -- ) 0x36 , ;
 196 : FS ( -- ) 0x64 , ;
 197 : GS ( -- ) 0x65 , ;
 198
 199 ! Moving stuff
 200 GENERIC: PUSH ( op -- )
 201 M: register PUSH f 0x50 short-operand ;
 202 M: immediate PUSH 0x68 , 4, ;
 203 M: operand PUSH { 0b110 f 0xff } 1-operand ;
 204
 205 GENERIC: POP ( op -- )
 206 M: register POP f 0x58 short-operand ;
 207 M: operand POP { 0b000 f 0x8f } 1-operand ;
 208
 209 <PRIVATE
 210
 211 : zero-extendable? ( imm -- ? )
 212     1 32 2^ 1 - between? ;
 213
 214 : maybe-zero-extend ( reg imm -- reg' imm )
 215     dup zero-extendable? [ [ 32-bit-version-of ] dip ] when ;
 216
 217 GENERIC#: (MOV-I) 1 ( dst src -- )
 218
 219 M: register (MOV-I)
 220     {
 221         {
 222             [ dup byte? ]
 223             [ [ t 0xb0 short-operand ] [ 1, ] bi* ]
 224         }
 225         {
 226             [ dup zero-extendable? ]
 227             [ [ 32-bit-version-of t 0xb8 short-operand ] [ 4, ] bi* ]
 228         }
 229         [ [ t 0xb8 short-operand ] [ cell, ] bi* ]
 230     } cond ;
 231
 232 M: operand (MOV-I)
 233     { 0b000 t 0xc6 }
 234     over byte? [ immediate-1 ] [ immediate-4 ] if ;
 235
 236 PRIVATE>
 237
 238 GENERIC: MOV ( dst src -- )
 239 M: immediate MOV (MOV-I) ;
 240 M: operand MOV 0x88 2-operand ;
 241
 242 ERROR: bad-movabs-operands dst src ;
 243
 244 GENERIC: MOVABS ( dst src -- )
 245 M: object MOVABS bad-movabs-operands ;
 246 M: register MOVABS
 247     {
 248         { AL [ 0xa2 , cell, ] }
 249         { AX [ 0x66 , 0xa3 , cell, ] }
 250         { EAX [ 0xa3 , cell, ] }
 251         { RAX [ 0x48 , 0xa3 , cell, ] }
 252         [ swap bad-movabs-operands ]
 253     } case ;
 254 M: integer MOVABS
 255     swap {
 256         { AL [ 0xa0 , cell, ] }
 257         { AX [ 0x66 , 0xa1 , cell, ] }
 258         { EAX [ 0xa1 , cell, ] }
 259         { RAX [ 0x48 , 0xa1 , cell, ] }
 260         [ swap bad-movabs-operands ]
 261     } case ;
 262
 263 : LEA ( dst src -- ) swap 0x8d 2-operand ;
 264
 265 ! Control flow
 266 GENERIC: JMP ( op -- )
 267 M: integer JMP 0xe9 , 4, ;
 268 M: operand JMP { 0b100 t 0xff } 1-operand ;
 269
 270 GENERIC: CALL ( op -- )
 271 M: integer CALL 0xe8 , 4, ;
 272 M: operand CALL { 0b010 t 0xff } 1-operand ;
 273
 274 <PRIVATE
 275
 276 GENERIC#: JUMPcc 1 ( addr opcode -- )
 277 M: integer JUMPcc extended-opcode, 4, ;
 278
 279 : SETcc ( dst opcode -- )
 280     { 0b000 t } swap suffix 1-operand ;
 281
 282 PRIVATE>
 283
 284 : JO  ( dst -- ) 0x80 JUMPcc ;
 285 : JNO ( dst -- ) 0x81 JUMPcc ;
 286 : JB  ( dst -- ) 0x82 JUMPcc ;
 287 : JAE ( dst -- ) 0x83 JUMPcc ;
 288 : JE  ( dst -- ) 0x84 JUMPcc ; ! aka JZ
 289 : JNE ( dst -- ) 0x85 JUMPcc ;
 290 : JBE ( dst -- ) 0x86 JUMPcc ;
 291 : JA  ( dst -- ) 0x87 JUMPcc ;
 292 : JS  ( dst -- ) 0x88 JUMPcc ;
 293 : JNS ( dst -- ) 0x89 JUMPcc ;
 294 : JP  ( dst -- ) 0x8a JUMPcc ;
 295 : JNP ( dst -- ) 0x8b JUMPcc ;
 296 : JL  ( dst -- ) 0x8c JUMPcc ;
 297 : JGE ( dst -- ) 0x8d JUMPcc ;
 298 : JLE ( dst -- ) 0x8e JUMPcc ;
 299 : JG  ( dst -- ) 0x8f JUMPcc ;
 300
 301 : SETO  ( dst -- ) { 0x0f 0x90 } SETcc ;
 302 : SETNO ( dst -- ) { 0x0f 0x91 } SETcc ;
 303 : SETB  ( dst -- ) { 0x0f 0x92 } SETcc ;
 304 : SETAE ( dst -- ) { 0x0f 0x93 } SETcc ;
 305 : SETE  ( dst -- ) { 0x0f 0x94 } SETcc ;
 306 : SETNE ( dst -- ) { 0x0f 0x95 } SETcc ;
 307 : SETBE ( dst -- ) { 0x0f 0x96 } SETcc ;
 308 : SETA  ( dst -- ) { 0x0f 0x97 } SETcc ;
 309 : SETS  ( dst -- ) { 0x0f 0x98 } SETcc ;
 310 : SETNS ( dst -- ) { 0x0f 0x99 } SETcc ;
 311 : SETP  ( dst -- ) { 0x0f 0x9a } SETcc ;
 312 : SETNP ( dst -- ) { 0x0f 0x9b } SETcc ;
 313 : SETL  ( dst -- ) { 0x0f 0x9c } SETcc ;
 314 : SETGE ( dst -- ) { 0x0f 0x9d } SETcc ;
 315 : SETLE ( dst -- ) { 0x0f 0x9e } SETcc ;
 316 : SETG  ( dst -- ) { 0x0f 0x9f } SETcc ;
 317
 318 : LEAVE ( -- ) 0xc9 , ;
 319
 320 : RET ( n -- ) [ 0xc3 , ] [ 0xc2 , 2, ] if-zero ;
 321
 322 ! Arithmetic
 323
 324 GENERIC: ADD ( dst src -- )
 325 M: immediate ADD { 0b000 t 0x80 } immediate-1/4 ;
 326 M: operand ADD 0o000 2-operand ;
 327
 328 GENERIC: OR ( dst src -- )
 329 M: immediate OR { 0b001 t 0x80 } immediate-1/4 ;
 330 M: operand OR 0o010 2-operand ;
 331
 332 GENERIC: ADC ( dst src -- )
 333 M: immediate ADC { 0b010 t 0x80 } immediate-1/4 ;
 334 M: operand ADC 0o020 2-operand ;
 335
 336 GENERIC: SBB ( dst src -- )
 337 M: immediate SBB { 0b011 t 0x80 } immediate-1/4 ;
 338 M: operand SBB 0o030 2-operand ;
 339
 340 GENERIC: AND ( dst src -- )
 341 M: immediate AND ( dst src -- )
 342     maybe-zero-extend { 0b100 t 0x80 } immediate-1/4 ;
 343 M: operand AND 0o040 2-operand ;
 344
 345 GENERIC: SUB ( dst src -- )
 346 M: immediate SUB { 0b101 t 0x80 } immediate-1/4 ;
 347 M: operand SUB 0o050 2-operand ;
 348
 349 : INC ( dst -- )
 350     { 0b000 t 0xff } 1-operand ;
 351
 352 : DEC ( dst -- )
 353     { 0b001 t 0xff } 1-operand ;
 354
 355 GENERIC: XOR ( dst src -- )
 356 M: immediate XOR { 0b110 t 0x80 } immediate-1/4 ;
 357 M: operand XOR 0o060 2-operand ;
 358
 359 GENERIC: CMP ( dst src -- )
 360 M: immediate CMP ( dst src -- )
 361     { 0b111 t 0x80 } immediate-1/4 ;
 362 M: operand CMP 0o070 2-operand ;
 363
 364 GENERIC: TEST ( dst src -- )
 365 M: immediate TEST ( dst src -- )
 366     maybe-zero-extend { 0b0 t 0xf7 } immediate-4 ;
 367 M: operand TEST 0o204 2-operand ;
 368
 369 : XCHG ( dst src -- ) 0o207 2-operand ;
 370
 371 : BSR ( dst src -- ) { 0x0f 0xbd } (2-operand) ;
 372
 373 GENERIC: BT ( value n -- )
 374 M: immediate BT ( value n -- ) { 0b100 t { 0x0f 0xba } } immediate-1* ;
 375 M: operand   BT ( value n -- ) swap { 0x0f 0xa3 } (2-operand) ;
 376
 377 GENERIC: BTC ( value n -- )
 378 M: immediate BTC ( value n -- ) { 0b111 t { 0x0f 0xba } } immediate-1* ;
 379 M: operand   BTC ( value n -- ) swap { 0x0f 0xbb } (2-operand) ;
 380
 381 GENERIC: BTR ( value n -- )
 382 M: immediate BTR ( value n -- ) { 0b110 t { 0x0f 0xba } } immediate-1* ;
 383 M: operand   BTR ( value n -- ) swap { 0x0f 0xb3 } (2-operand) ;
 384
 385 GENERIC: BTS ( value n -- )
 386 M: immediate BTS ( value n -- ) { 0b101 t { 0x0f 0xba } } immediate-1* ;
 387 M: operand   BTS ( value n -- ) swap { 0x0f 0xab } (2-operand) ;
 388
 389 : NOT  ( dst -- ) { 0b010 t 0xf7 } 1-operand ;
 390 : NEG  ( dst -- ) { 0b011 t 0xf7 } 1-operand ;
 391 : MUL  ( dst -- ) { 0b100 t 0xf7 } 1-operand ;
 392 : IMUL ( src -- ) { 0b101 t 0xf7 } 1-operand ;
 393 : DIV  ( dst -- ) { 0b110 t 0xf7 } 1-operand ;
 394 : IDIV ( src -- ) { 0b111 t 0xf7 } 1-operand ;
 395
 396 : CDQ ( -- ) 0x99 , ;
 397 : CQO ( -- ) 0x48 , CDQ ;
 398
 399 <PRIVATE
 400
 401 :: (SHIFT) ( dst src op -- )
 402     src CL eq? [
 403         dst { op t 0xd3 } 1-operand
 404     ] [
 405         dst src { op t 0xc0 } immediate-1
 406     ] if ; inline
 407
 408 PRIVATE>
 409
 410 : ROL ( dst n -- ) 0b000 (SHIFT) ;
 411 : ROR ( dst n -- ) 0b001 (SHIFT) ;
 412 : RCL ( dst n -- ) 0b010 (SHIFT) ;
 413 : RCR ( dst n -- ) 0b011 (SHIFT) ;
 414 : SHL ( dst n -- ) 0b100 (SHIFT) ;
 415 : SHR ( dst n -- ) 0b101 (SHIFT) ;
 416 : SAR ( dst n -- ) 0b111 (SHIFT) ;
 417
 418 : IMUL2 ( dst src -- )
 419     0o257 extended-opcode (2-operand) ;
 420
 421 : IMUL3 ( dst src imm -- )
 422     dup fits-in-byte? [
 423         [ swap 0x6a 2-operand ] dip 1,
 424     ] [
 425         [ swap 0x68 2-operand ] dip 4,
 426     ] if ;
 427
 428 : MOVSX ( dst src -- )
 429     dup register-32? 0o143 0o276 extended-opcode ?
 430     over register-16? [ 0b1 opcode-or ] when
 431     (2-operand) ;
 432
 433 : MOVZX ( dst src -- )
 434     0o266 extended-opcode
 435     over register-16? [ 0b1 opcode-or ] when
 436     (2-operand) ;
 437
 438 ! Conditional move
 439 : MOVcc ( dst src cc -- ) extended-opcode (2-operand) ;
 440
 441 : CMOVO  ( dst src -- ) 0x40 MOVcc ;
 442 : CMOVNO ( dst src -- ) 0x41 MOVcc ;
 443 : CMOVB  ( dst src -- ) 0x42 MOVcc ;
 444 : CMOVAE ( dst src -- ) 0x43 MOVcc ;
 445 : CMOVE  ( dst src -- ) 0x44 MOVcc ; ! aka CMOVZ
 446 : CMOVNE ( dst src -- ) 0x45 MOVcc ;
 447 : CMOVBE ( dst src -- ) 0x46 MOVcc ;
 448 : CMOVA  ( dst src -- ) 0x47 MOVcc ;
 449 : CMOVS  ( dst src -- ) 0x48 MOVcc ;
 450 : CMOVNS ( dst src -- ) 0x49 MOVcc ;
 451 : CMOVP  ( dst src -- ) 0x4a MOVcc ;
 452 : CMOVNP ( dst src -- ) 0x4b MOVcc ;
 453 : CMOVL  ( dst src -- ) 0x4c MOVcc ;
 454 : CMOVGE ( dst src -- ) 0x4d MOVcc ;
 455 : CMOVLE ( dst src -- ) 0x4e MOVcc ;
 456 : CMOVG  ( dst src -- ) 0x4f MOVcc ;
 457
 458 ! CPU Identification
 459
 460 : CPUID ( -- ) 0xa2 extended-opcode, ;
 461
 462 ! Misc
 463
 464 : NOP ( -- ) 0x90 , ;
 465 : PAUSE ( -- ) 0xf3 , 0x90 , ;
 466
 467 : RDTSC ( -- ) 0x0f , 0x31 , ;
 468 : RDMSR ( -- ) 0x0f , 0x32 , ; ! Only available in privileged level 0
 469 : RDPMC ( -- ) 0x0f , 0x33 , ;
 470
 471 : RDRAND ( dst -- ) { 0b110 t { 0x0f 0xc7 } } 1-operand ;
 472
 473 ! x87 Floating Point Unit
 474
 475 : FSTPS ( operand -- ) { 0b011 f 0xd9 } 1-operand ;
 476 : FSTPL ( operand -- ) { 0b011 f 0xdd } 1-operand ;
 477
 478 : FLDS ( operand -- ) { 0b000 f 0xd9 } 1-operand ;
 479 : FLDL ( operand -- ) { 0b000 f 0xdd } 1-operand ;
 480
 481 : FNSTCW ( operand -- ) { 0b111 f 0xd9 } 1-operand ;
 482 : FNSTSW ( operand -- ) { 0b111 f 0xdd } 1-operand ;
 483 : FLDCW ( operand -- ) { 0b101 f 0xd9 } 1-operand ;
 484
 485 : FNCLEX ( -- ) 0xdb , 0xe2 , ;
 486 : FNINIT ( -- ) 0xdb , 0xe3 , ;
 487
 488 ERROR: bad-x87-operands ;
 489
 490 <PRIVATE
 491
 492 :: (x87-op) ( operand opcode reg -- )
 493     opcode ,
 494     0b1100,0000 reg
 495     3 shift bitor
 496     operand reg-code bitor , ;
 497
 498 :: x87-st0-op ( src opcode reg -- )
 499     src register?
 500     [ src opcode reg (x87-op) ]
 501     [ bad-x87-operands ] if ;
 502
 503 :: x87-m-st0/n-op ( dst src opcode reg -- )
 504     {
 505         { [ dst ST0 = src indirect? and ] [
 506             src { reg f opcode } 1-operand
 507         ] }
 508         { [ dst ST0 = src register? and ] [
 509             src opcode reg (x87-op)
 510         ] }
 511         { [ src ST0 = dst register? and ] [
 512             dst opcode 4 + reg (x87-op)
 513         ] }
 514         [ bad-x87-operands ]
 515     } cond ;
 516
 517 PRIVATE>
 518
 519 : F2XM1 ( -- ) { 0xD9 0xF0 } % ;
 520 : FABS ( -- ) { 0xD9 0xE1 } % ;
 521 : FADD ( dst src -- ) 0xD8 0 x87-m-st0/n-op ;
 522 : FCHS ( -- ) { 0xD9 0xE0 } % ;
 523
 524 : FCMOVB   ( src -- ) 0xDA 0 x87-st0-op ;
 525 : FCMOVE   ( src -- ) 0xDA 1 x87-st0-op ;
 526 : FCMOVBE  ( src -- ) 0xDA 2 x87-st0-op ;
 527 : FCMOVU   ( src -- ) 0xDA 3 x87-st0-op ;
 528 : FCMOVNB  ( src -- ) 0xDB 0 x87-st0-op ;
 529 : FCMOVNE  ( src -- ) 0xDB 1 x87-st0-op ;
 530 : FCMOVNBE ( src -- ) 0xDB 2 x87-st0-op ;
 531 : FCMOVNU  ( src -- ) 0xDB 3 x87-st0-op ;
 532
 533 : FCOMI ( src -- ) 0xDB 6 x87-st0-op ;
 534 : FUCOMI ( src -- ) 0xDB 5 x87-st0-op ;
 535 : FCOS ( -- ) { 0xD9 0xFF } % ;
 536 : FDECSTP ( -- ) { 0xD9 0xF6 } % ;
 537 : FINCSTP ( -- ) { 0xD9 0xF7 } % ;
 538 : FDIV  ( dst src -- ) 0xD8 6 x87-m-st0/n-op ;
 539 : FDIVR ( dst src -- ) 0xD8 7 x87-m-st0/n-op ;
 540
 541 : FILDD ( src -- )  { 0b000 f 0xDB } 1-operand ;
 542 : FILDQ ( src -- )  { 0b101 f 0xDF } 1-operand ;
 543 : FISTPD ( dst -- ) { 0b011 f 0xDB } 1-operand ;
 544 : FISTPQ ( dst -- ) { 0b111 f 0xDF } 1-operand ;
 545 : FISTTPD ( dst -- ) { 0b001 f 0xDB } 1-operand ;
 546 : FISTTPQ ( dst -- ) { 0b001 f 0xDF } 1-operand ;
 547
 548 : FLD    ( src -- ) 0xD9 0 x87-st0-op ;
 549 : FLD1   ( -- ) { 0xD9 0xE8 } % ;
 550 : FLDL2T ( -- ) { 0xD9 0xE9 } % ;
 551 : FLDL2E ( -- ) { 0xD9 0xEA } % ;
 552 : FLDPI  ( -- ) { 0xD9 0xEB } % ;
 553 : FLDLG2 ( -- ) { 0xD9 0xEC } % ;
 554 : FLDLN2 ( -- ) { 0xD9 0xED } % ;
 555 : FLDZ   ( -- ) { 0xD9 0xEE } % ;
 556
 557 : FMUL ( dst src -- ) 0xD8 1 x87-m-st0/n-op ;
 558 : FNOP ( -- ) { 0xD9 0xD0 } % ;
 559 : FPATAN ( -- ) { 0xD9 0xF3 } % ;
 560 : FPREM  ( -- ) { 0xD9 0xF8 } % ;
 561 : FPREM1 ( -- ) { 0xD9 0xF5 } % ;
 562 : FRNDINT ( -- ) { 0xD9 0xFC } % ;
 563 : FSCALE ( -- ) { 0xD9 0xFD } % ;
 564 : FSIN ( -- ) { 0xD9 0xFE } % ;
 565 : FSINCOS ( -- ) { 0xD9 0xFB } % ;
 566 : FSQRT ( -- ) { 0xD9 0xFA } % ;
 567
 568 : FSUB  ( dst src -- ) 0xD8 0x4 x87-m-st0/n-op ;
 569 : FSUBR ( dst src -- ) 0xD8 0x5 x87-m-st0/n-op ;
 570
 571 : FST  ( src -- ) 0xDD 2 x87-st0-op ;
 572 : FSTP ( src -- ) 0xDD 3 x87-st0-op ;
 573
 574 : FXAM ( -- ) { 0xD9 0xE5 } % ;
 575 : FXCH ( src -- ) 0xD9 1 x87-st0-op ;
 576
 577 : FXTRACT ( -- ) { 0xD9 0xF4 } % ;
 578 : FYL2X ( -- ) { 0xD9 0xF1 } % ;
 579 : FYL2XP1 ( -- ) { 0xD9 0xF1 } % ;
 580
 581 ! SSE multimedia instructions
 582
 583 <PRIVATE
 584
 585 : direction-bit-sse ( dst src op1 -- dst' src' op1' )
 586     pick register-128? [ swapd 0b1 bitor ] unless ;
 587
 588 : 2-operand-sse ( dst src op1 op2 -- )
 589     [ , ] when* direction-bit-sse extended-opcode (2-operand) ;
 590
 591 : direction-op-sse ( dst src op1s -- dst' src' op1' )
 592     pick register-128? [ first ] [ swapd second ] if ;
 593
 594 : 2-operand-rm-mr-sse ( dst src op1{rm,mr} op2 -- )
 595     [ , ] when* direction-op-sse extended-opcode (2-operand) ;
 596
 597 : 2-operand-rm-mr-sse* ( dst src op12{rm,mr} -- )
 598     direction-op-sse first2 [ , ] when* extended-opcode (2-operand) ;
 599
 600 : 2-operand-rm-sse ( dst src op1 op2 -- )
 601     [ , ] when* extended-opcode (2-operand) ;
 602
 603 : 2-operand-mr-sse ( dst src op1 op2 -- )
 604     [ , ] when* extended-opcode swapd (2-operand) ;
 605
 606 : 2-operand-int/sse ( dst src op1 op2 -- )
 607     [ , ] when* extended-opcode (2-operand) ;
 608
 609 :: 3-operand-rm-sse ( dst src imm op1 op2 -- )
 610     dst src op1 op2 2-operand-rm-sse imm , ;
 611
 612 :: 3-operand-mr-sse ( dst src imm op1 op2 -- )
 613     dst src op1 op2 2-operand-mr-sse imm , ;
 614
 615 :: 3-operand-rm-mr-sse ( dst src imm op1 op2 -- )
 616     dst src op1 op2 2-operand-rm-mr-sse imm , ;
 617
 618 : 2-operand-sse-cmp ( dst src cmp op1 op2 -- )
 619     3-operand-rm-sse ; inline
 620
 621 : 2-operand-sse-shift ( dst imm reg op1 op2 -- )
 622     [ , ] when*
 623     [ f 0x0f ] dip 2array 3array
 624     swapd 1-operand , ;
 625
 626 PRIVATE>
 627
 628 : MOVUPS     ( dest src -- ) 0x10 f       2-operand-sse ;
 629 : MOVUPD     ( dest src -- ) 0x10 0x66 2-operand-sse ;
 630 : MOVSD      ( dest src -- ) 0x10 0xf2 2-operand-sse ;
 631 : MOVSS      ( dest src -- ) 0x10 0xf3 2-operand-sse ;
 632 : MOVLPS     ( dest src -- ) 0x12 f       2-operand-sse ;
 633 : MOVLPD     ( dest src -- ) 0x12 0x66 2-operand-sse ;
 634 : MOVDDUP    ( dest src -- ) 0x12 0xf2 2-operand-rm-sse ;
 635 : MOVSLDUP   ( dest src -- ) 0x12 0xf3 2-operand-rm-sse ;
 636 : UNPCKLPS   ( dest src -- ) 0x14 f       2-operand-rm-sse ;
 637 : UNPCKLPD   ( dest src -- ) 0x14 0x66 2-operand-rm-sse ;
 638 : UNPCKHPS   ( dest src -- ) 0x15 f       2-operand-rm-sse ;
 639 : UNPCKHPD   ( dest src -- ) 0x15 0x66 2-operand-rm-sse ;
 640 : MOVHPS     ( dest src -- ) 0x16 f       2-operand-sse ;
 641 : MOVHPD     ( dest src -- ) 0x16 0x66 2-operand-sse ;
 642 : MOVSHDUP   ( dest src -- ) 0x16 0xf3 2-operand-rm-sse ;
 643
 644 ALIAS: MOVHLPS MOVLPS
 645 ALIAS: MOVLHPS MOVHPS
 646
 647 : PREFETCHNTA ( mem -- )  { 0b000 f { 0x0f 0x18 } } 1-operand ;
 648 : PREFETCHT0  ( mem -- )  { 0b001 f { 0x0f 0x18 } } 1-operand ;
 649 : PREFETCHT1  ( mem -- )  { 0b010 f { 0x0f 0x18 } } 1-operand ;
 650 : PREFETCHT2  ( mem -- )  { 0b011 f { 0x0f 0x18 } } 1-operand ;
 651
 652 : MOVAPS     ( dest src -- ) 0x28 f       2-operand-sse ;
 653 : MOVAPD     ( dest src -- ) 0x28 0x66 2-operand-sse ;
 654 : CVTSI2SD   ( dest src -- ) 0x2a 0xf2 2-operand-int/sse ;
 655 : CVTSI2SS   ( dest src -- ) 0x2a 0xf3 2-operand-int/sse ;
 656 : MOVNTPS    ( dest src -- ) 0x2b f       2-operand-mr-sse ;
 657 : MOVNTPD    ( dest src -- ) 0x2b 0x66 2-operand-mr-sse ;
 658 : CVTTSD2SI  ( dest src -- ) 0x2c 0xf2 2-operand-int/sse ;
 659 : CVTTSS2SI  ( dest src -- ) 0x2c 0xf3 2-operand-int/sse ;
 660 : CVTSD2SI   ( dest src -- ) 0x2d 0xf2 2-operand-int/sse ;
 661 : CVTSS2SI   ( dest src -- ) 0x2d 0xf3 2-operand-int/sse ;
 662 : UCOMISS    ( dest src -- ) 0x2e f       2-operand-rm-sse ;
 663 : UCOMISD    ( dest src -- ) 0x2e 0x66 2-operand-rm-sse ;
 664 : COMISS     ( dest src -- ) 0x2f f       2-operand-rm-sse ;
 665 : COMISD     ( dest src -- ) 0x2f 0x66 2-operand-rm-sse ;
 666
 667 : PSHUFB     ( dest src -- ) { 0x38 0x00 } 0x66 2-operand-rm-sse ;
 668 : PHADDW     ( dest src -- ) { 0x38 0x01 } 0x66 2-operand-rm-sse ;
 669 : PHADDD     ( dest src -- ) { 0x38 0x02 } 0x66 2-operand-rm-sse ;
 670 : PHADDSW    ( dest src -- ) { 0x38 0x03 } 0x66 2-operand-rm-sse ;
 671 : PMADDUBSW  ( dest src -- ) { 0x38 0x04 } 0x66 2-operand-rm-sse ;
 672 : PHSUBW     ( dest src -- ) { 0x38 0x05 } 0x66 2-operand-rm-sse ;
 673 : PHSUBD     ( dest src -- ) { 0x38 0x06 } 0x66 2-operand-rm-sse ;
 674 : PHSUBSW    ( dest src -- ) { 0x38 0x07 } 0x66 2-operand-rm-sse ;
 675 : PSIGNB     ( dest src -- ) { 0x38 0x08 } 0x66 2-operand-rm-sse ;
 676 : PSIGNW     ( dest src -- ) { 0x38 0x09 } 0x66 2-operand-rm-sse ;
 677 : PSIGND     ( dest src -- ) { 0x38 0x0a } 0x66 2-operand-rm-sse ;
 678 : PMULHRSW   ( dest src -- ) { 0x38 0x0b } 0x66 2-operand-rm-sse ;
 679 : PBLENDVB   ( dest src -- ) { 0x38 0x10 } 0x66 2-operand-rm-sse ;
 680 : BLENDVPS   ( dest src -- ) { 0x38 0x14 } 0x66 2-operand-rm-sse ;
 681 : BLENDVPD   ( dest src -- ) { 0x38 0x15 } 0x66 2-operand-rm-sse ;
 682 : PTEST      ( dest src -- ) { 0x38 0x17 } 0x66 2-operand-rm-sse ;
 683 : PABSB      ( dest src -- ) { 0x38 0x1c } 0x66 2-operand-rm-sse ;
 684 : PABSW      ( dest src -- ) { 0x38 0x1d } 0x66 2-operand-rm-sse ;
 685 : PABSD      ( dest src -- ) { 0x38 0x1e } 0x66 2-operand-rm-sse ;
 686 : PMOVSXBW   ( dest src -- ) { 0x38 0x20 } 0x66 2-operand-rm-sse ;
 687 : PMOVSXBD   ( dest src -- ) { 0x38 0x21 } 0x66 2-operand-rm-sse ;
 688 : PMOVSXBQ   ( dest src -- ) { 0x38 0x22 } 0x66 2-operand-rm-sse ;
 689 : PMOVSXWD   ( dest src -- ) { 0x38 0x23 } 0x66 2-operand-rm-sse ;
 690 : PMOVSXWQ   ( dest src -- ) { 0x38 0x24 } 0x66 2-operand-rm-sse ;
 691 : PMOVSXDQ   ( dest src -- ) { 0x38 0x25 } 0x66 2-operand-rm-sse ;
 692 : PMULDQ     ( dest src -- ) { 0x38 0x28 } 0x66 2-operand-rm-sse ;
 693 : PCMPEQQ    ( dest src -- ) { 0x38 0x29 } 0x66 2-operand-rm-sse ;
 694 : MOVNTDQA   ( dest src -- ) { 0x38 0x2a } 0x66 2-operand-rm-sse ;
 695 : PACKUSDW   ( dest src -- ) { 0x38 0x2b } 0x66 2-operand-rm-sse ;
 696 : PMOVZXBW   ( dest src -- ) { 0x38 0x30 } 0x66 2-operand-rm-sse ;
 697 : PMOVZXBD   ( dest src -- ) { 0x38 0x31 } 0x66 2-operand-rm-sse ;
 698 : PMOVZXBQ   ( dest src -- ) { 0x38 0x32 } 0x66 2-operand-rm-sse ;
 699 : PMOVZXWD   ( dest src -- ) { 0x38 0x33 } 0x66 2-operand-rm-sse ;
 700 : PMOVZXWQ   ( dest src -- ) { 0x38 0x34 } 0x66 2-operand-rm-sse ;
 701 : PMOVZXDQ   ( dest src -- ) { 0x38 0x35 } 0x66 2-operand-rm-sse ;
 702 : PCMPGTQ    ( dest src -- ) { 0x38 0x37 } 0x66 2-operand-rm-sse ;
 703 : PMINSB     ( dest src -- ) { 0x38 0x38 } 0x66 2-operand-rm-sse ;
 704 : PMINSD     ( dest src -- ) { 0x38 0x39 } 0x66 2-operand-rm-sse ;
 705 : PMINUW     ( dest src -- ) { 0x38 0x3a } 0x66 2-operand-rm-sse ;
 706 : PMINUD     ( dest src -- ) { 0x38 0x3b } 0x66 2-operand-rm-sse ;
 707 : PMAXSB     ( dest src -- ) { 0x38 0x3c } 0x66 2-operand-rm-sse ;
 708 : PMAXSD     ( dest src -- ) { 0x38 0x3d } 0x66 2-operand-rm-sse ;
 709 : PMAXUW     ( dest src -- ) { 0x38 0x3e } 0x66 2-operand-rm-sse ;
 710 : PMAXUD     ( dest src -- ) { 0x38 0x3f } 0x66 2-operand-rm-sse ;
 711 : PMULLD     ( dest src -- ) { 0x38 0x40 } 0x66 2-operand-rm-sse ;
 712 : PHMINPOSUW ( dest src -- ) { 0x38 0x41 } 0x66 2-operand-rm-sse ;
 713 : CRC32B     ( dest src -- ) { 0x38 0xf0 } 0xf2 2-operand-rm-sse ;
 714 : CRC32      ( dest src -- ) { 0x38 0xf1 } 0xf2 2-operand-rm-sse ;
 715
 716 : ROUNDPS    ( dest src imm -- ) { 0x3a 0x08 } 0x66 3-operand-rm-sse ;
 717 : ROUNDPD    ( dest src imm -- ) { 0x3a 0x09 } 0x66 3-operand-rm-sse ;
 718 : ROUNDSS    ( dest src imm -- ) { 0x3a 0x0a } 0x66 3-operand-rm-sse ;
 719 : ROUNDSD    ( dest src imm -- ) { 0x3a 0x0b } 0x66 3-operand-rm-sse ;
 720 : BLENDPS    ( dest src imm -- ) { 0x3a 0x0c } 0x66 3-operand-rm-sse ;
 721 : BLENDPD    ( dest src imm -- ) { 0x3a 0x0d } 0x66 3-operand-rm-sse ;
 722 : PBLENDW    ( dest src imm -- ) { 0x3a 0x0e } 0x66 3-operand-rm-sse ;
 723 : PALIGNR    ( dest src imm -- ) { 0x3a 0x0f } 0x66 3-operand-rm-sse ;
 724
 725 : PEXTRB     ( dest src imm -- ) { 0x3a 0x14 } 0x66 3-operand-mr-sse ;
 726
 727 <PRIVATE
 728 : (PEXTRW-sse1) ( dest src imm -- ) 0xc5 0x66 3-operand-rm-sse ;
 729 : (PEXTRW-sse4) ( dest src imm -- ) { 0x3a 0x15 } 0x66 3-operand-mr-sse ;
 730 PRIVATE>
 731
 732 : PEXTRW     ( dest src imm -- ) pick indirect? [ (PEXTRW-sse4) ] [ (PEXTRW-sse1) ] if ;
 733 : PEXTRD     ( dest src imm -- ) { 0x3a 0x16 } 0x66 3-operand-mr-sse ;
 734 ALIAS: PEXTRQ PEXTRD
 735 : EXTRACTPS  ( dest src imm -- ) { 0x3a 0x17 } 0x66 3-operand-mr-sse ;
 736
 737 : PINSRB     ( dest src imm -- ) { 0x3a 0x20 } 0x66 3-operand-rm-sse ;
 738 : INSERTPS   ( dest src imm -- ) { 0x3a 0x21 } 0x66 3-operand-rm-sse ;
 739 : PINSRD     ( dest src imm -- ) { 0x3a 0x22 } 0x66 3-operand-rm-sse ;
 740 ALIAS: PINSRQ PINSRD
 741 : DPPS       ( dest src imm -- ) { 0x3a 0x40 } 0x66 3-operand-rm-sse ;
 742 : DPPD       ( dest src imm -- ) { 0x3a 0x41 } 0x66 3-operand-rm-sse ;
 743 : MPSADBW    ( dest src imm -- ) { 0x3a 0x42 } 0x66 3-operand-rm-sse ;
 744 : PCMPESTRM  ( dest src imm -- ) { 0x3a 0x60 } 0x66 3-operand-rm-sse ;
 745 : PCMPESTRI  ( dest src imm -- ) { 0x3a 0x61 } 0x66 3-operand-rm-sse ;
 746 : PCMPISTRM  ( dest src imm -- ) { 0x3a 0x62 } 0x66 3-operand-rm-sse ;
 747 : PCMPISTRI  ( dest src imm -- ) { 0x3a 0x63 } 0x66 3-operand-rm-sse ;
 748
 749 : MOVMSKPS   ( dest src -- ) 0x50 f       2-operand-int/sse ;
 750 : MOVMSKPD   ( dest src -- ) 0x50 0x66 2-operand-int/sse ;
 751 : SQRTPS     ( dest src -- ) 0x51 f       2-operand-rm-sse ;
 752 : SQRTPD     ( dest src -- ) 0x51 0x66 2-operand-rm-sse ;
 753 : SQRTSD     ( dest src -- ) 0x51 0xf2 2-operand-rm-sse ;
 754 : SQRTSS     ( dest src -- ) 0x51 0xf3 2-operand-rm-sse ;
 755 : RSQRTPS    ( dest src -- ) 0x52 f       2-operand-rm-sse ;
 756 : RSQRTSS    ( dest src -- ) 0x52 0xf3 2-operand-rm-sse ;
 757 : RCPPS      ( dest src -- ) 0x53 f       2-operand-rm-sse ;
 758 : RCPSS      ( dest src -- ) 0x53 0xf3 2-operand-rm-sse ;
 759 : ANDPS      ( dest src -- ) 0x54 f       2-operand-rm-sse ;
 760 : ANDPD      ( dest src -- ) 0x54 0x66 2-operand-rm-sse ;
 761 : ANDNPS     ( dest src -- ) 0x55 f       2-operand-rm-sse ;
 762 : ANDNPD     ( dest src -- ) 0x55 0x66 2-operand-rm-sse ;
 763 : ORPS       ( dest src -- ) 0x56 f       2-operand-rm-sse ;
 764 : ORPD       ( dest src -- ) 0x56 0x66 2-operand-rm-sse ;
 765 : XORPS      ( dest src -- ) 0x57 f       2-operand-rm-sse ;
 766 : XORPD      ( dest src -- ) 0x57 0x66 2-operand-rm-sse ;
 767 : ADDPS      ( dest src -- ) 0x58 f       2-operand-rm-sse ;
 768 : ADDPD      ( dest src -- ) 0x58 0x66 2-operand-rm-sse ;
 769 : ADDSD      ( dest src -- ) 0x58 0xf2 2-operand-rm-sse ;
 770 : ADDSS      ( dest src -- ) 0x58 0xf3 2-operand-rm-sse ;
 771 : MULPS      ( dest src -- ) 0x59 f       2-operand-rm-sse ;
 772 : MULPD      ( dest src -- ) 0x59 0x66 2-operand-rm-sse ;
 773 : MULSD      ( dest src -- ) 0x59 0xf2 2-operand-rm-sse ;
 774 : MULSS      ( dest src -- ) 0x59 0xf3 2-operand-rm-sse ;
 775 : CVTPS2PD   ( dest src -- ) 0x5a f       2-operand-rm-sse ;
 776 : CVTPD2PS   ( dest src -- ) 0x5a 0x66 2-operand-rm-sse ;
 777 : CVTSD2SS   ( dest src -- ) 0x5a 0xf2 2-operand-rm-sse ;
 778 : CVTSS2SD   ( dest src -- ) 0x5a 0xf3 2-operand-rm-sse ;
 779 : CVTDQ2PS   ( dest src -- ) 0x5b f       2-operand-rm-sse ;
 780 : CVTPS2DQ   ( dest src -- ) 0x5b 0x66 2-operand-rm-sse ;
 781 : CVTTPS2DQ  ( dest src -- ) 0x5b 0xf3 2-operand-rm-sse ;
 782 : SUBPS      ( dest src -- ) 0x5c f       2-operand-rm-sse ;
 783 : SUBPD      ( dest src -- ) 0x5c 0x66 2-operand-rm-sse ;
 784 : SUBSD      ( dest src -- ) 0x5c 0xf2 2-operand-rm-sse ;
 785 : SUBSS      ( dest src -- ) 0x5c 0xf3 2-operand-rm-sse ;
 786 : MINPS      ( dest src -- ) 0x5d f       2-operand-rm-sse ;
 787 : MINPD      ( dest src -- ) 0x5d 0x66 2-operand-rm-sse ;
 788 : MINSD      ( dest src -- ) 0x5d 0xf2 2-operand-rm-sse ;
 789 : MINSS      ( dest src -- ) 0x5d 0xf3 2-operand-rm-sse ;
 790 : DIVPS      ( dest src -- ) 0x5e f       2-operand-rm-sse ;
 791 : DIVPD      ( dest src -- ) 0x5e 0x66 2-operand-rm-sse ;
 792 : DIVSD      ( dest src -- ) 0x5e 0xf2 2-operand-rm-sse ;
 793 : DIVSS      ( dest src -- ) 0x5e 0xf3 2-operand-rm-sse ;
 794 : MAXPS      ( dest src -- ) 0x5f f       2-operand-rm-sse ;
 795 : MAXPD      ( dest src -- ) 0x5f 0x66 2-operand-rm-sse ;
 796 : MAXSD      ( dest src -- ) 0x5f 0xf2 2-operand-rm-sse ;
 797 : MAXSS      ( dest src -- ) 0x5f 0xf3 2-operand-rm-sse ;
 798 : PUNPCKLBW  ( dest src -- ) 0x60 0x66 2-operand-rm-sse ;
 799 : PUNPCKLWD  ( dest src -- ) 0x61 0x66 2-operand-rm-sse ;
 800 : PUNPCKLDQ  ( dest src -- ) 0x62 0x66 2-operand-rm-sse ;
 801 : PACKSSWB   ( dest src -- ) 0x63 0x66 2-operand-rm-sse ;
 802 : PCMPGTB    ( dest src -- ) 0x64 0x66 2-operand-rm-sse ;
 803 : PCMPGTW    ( dest src -- ) 0x65 0x66 2-operand-rm-sse ;
 804 : PCMPGTD    ( dest src -- ) 0x66 0x66 2-operand-rm-sse ;
 805 : PACKUSWB   ( dest src -- ) 0x67 0x66 2-operand-rm-sse ;
 806 : PUNPCKHBW  ( dest src -- ) 0x68 0x66 2-operand-rm-sse ;
 807 : PUNPCKHWD  ( dest src -- ) 0x69 0x66 2-operand-rm-sse ;
 808 : PUNPCKHDQ  ( dest src -- ) 0x6a 0x66 2-operand-rm-sse ;
 809 : PACKSSDW   ( dest src -- ) 0x6b 0x66 2-operand-rm-sse ;
 810 : PUNPCKLQDQ ( dest src -- ) 0x6c 0x66 2-operand-rm-sse ;
 811 : PUNPCKHQDQ ( dest src -- ) 0x6d 0x66 2-operand-rm-sse ;
 812
 813 : MOVD       ( dest src -- ) { 0x6e 0x7e } 0x66 2-operand-rm-mr-sse ;
 814 : MOVDQA     ( dest src -- ) { 0x6f 0x7f } 0x66 2-operand-rm-mr-sse ;
 815 : MOVDQU     ( dest src -- ) { 0x6f 0x7f } 0xf3 2-operand-rm-mr-sse ;
 816
 817 : MOVQ       ( dest src -- )
 818     { { 0x7e 0xf3 } { 0xd6 0x66 } } 2-operand-rm-mr-sse* ;
 819
 820 <PRIVATE
 821
 822 : 2shuffler ( indexes/mask -- mask )
 823     dup integer? [ first2 { 1 0 } bitfield ] unless ;
 824 : 4shuffler ( indexes/mask -- mask )
 825     dup integer? [ first4 { 6 4 2 0 } bitfield ] unless ;
 826
 827 PRIVATE>
 828
 829 : PSHUFD     ( dest src imm -- ) 4shuffler 0x70 0x66 3-operand-rm-sse ;
 830 : PSHUFLW    ( dest src imm -- ) 4shuffler 0x70 0xf2 3-operand-rm-sse ;
 831 : PSHUFHW    ( dest src imm -- ) 4shuffler 0x70 0xf3 3-operand-rm-sse ;
 832
 833 <PRIVATE
 834
 835 : (PSRLW-imm) ( dest imm -- ) 0b010 0x71 0x66 2-operand-sse-shift ;
 836 : (PSRAW-imm) ( dest imm -- ) 0b100 0x71 0x66 2-operand-sse-shift ;
 837 : (PSLLW-imm) ( dest imm -- ) 0b110 0x71 0x66 2-operand-sse-shift ;
 838 : (PSRLD-imm) ( dest imm -- ) 0b010 0x72 0x66 2-operand-sse-shift ;
 839 : (PSRAD-imm) ( dest imm -- ) 0b100 0x72 0x66 2-operand-sse-shift ;
 840 : (PSLLD-imm) ( dest imm -- ) 0b110 0x72 0x66 2-operand-sse-shift ;
 841 : (PSRLQ-imm) ( dest imm -- ) 0b010 0x73 0x66 2-operand-sse-shift ;
 842 : (PSLLQ-imm) ( dest imm -- ) 0b110 0x73 0x66 2-operand-sse-shift ;
 843
 844 : (PSRLW-reg) ( dest src -- ) 0xd1 0x66 2-operand-rm-sse ;
 845 : (PSRLD-reg) ( dest src -- ) 0xd2 0x66 2-operand-rm-sse ;
 846 : (PSRLQ-reg) ( dest src -- ) 0xd3 0x66 2-operand-rm-sse ;
 847 : (PSRAW-reg) ( dest src -- ) 0xe1 0x66 2-operand-rm-sse ;
 848 : (PSRAD-reg) ( dest src -- ) 0xe2 0x66 2-operand-rm-sse ;
 849 : (PSLLW-reg) ( dest src -- ) 0xf1 0x66 2-operand-rm-sse ;
 850 : (PSLLD-reg) ( dest src -- ) 0xf2 0x66 2-operand-rm-sse ;
 851 : (PSLLQ-reg) ( dest src -- ) 0xf3 0x66 2-operand-rm-sse ;
 852
 853 PRIVATE>
 854
 855 : PSRLW ( dest src -- ) dup integer? [ (PSRLW-imm) ] [ (PSRLW-reg) ] if ;
 856 : PSRAW ( dest src -- ) dup integer? [ (PSRAW-imm) ] [ (PSRAW-reg) ] if ;
 857 : PSLLW ( dest src -- ) dup integer? [ (PSLLW-imm) ] [ (PSLLW-reg) ] if ;
 858 : PSRLD ( dest src -- ) dup integer? [ (PSRLD-imm) ] [ (PSRLD-reg) ] if ;
 859 : PSRAD ( dest src -- ) dup integer? [ (PSRAD-imm) ] [ (PSRAD-reg) ] if ;
 860 : PSLLD ( dest src -- ) dup integer? [ (PSLLD-imm) ] [ (PSLLD-reg) ] if ;
 861 : PSRLQ ( dest src -- ) dup integer? [ (PSRLQ-imm) ] [ (PSRLQ-reg) ] if ;
 862 : PSLLQ ( dest src -- ) dup integer? [ (PSLLQ-imm) ] [ (PSLLQ-reg) ] if ;
 863
 864 : PSRLDQ     ( dest imm -- ) 0b011 0x73 0x66 2-operand-sse-shift ;
 865 : PSLLDQ     ( dest imm -- ) 0b111 0x73 0x66 2-operand-sse-shift ;
 866
 867 : PCMPEQB    ( dest src -- ) 0x74 0x66 2-operand-rm-sse ;
 868 : PCMPEQW    ( dest src -- ) 0x75 0x66 2-operand-rm-sse ;
 869 : PCMPEQD    ( dest src -- ) 0x76 0x66 2-operand-rm-sse ;
 870 : HADDPD     ( dest src -- ) 0x7c 0x66 2-operand-rm-sse ;
 871 : HADDPS     ( dest src -- ) 0x7c 0xf2 2-operand-rm-sse ;
 872 : HSUBPD     ( dest src -- ) 0x7d 0x66 2-operand-rm-sse ;
 873 : HSUBPS     ( dest src -- ) 0x7d 0xf2 2-operand-rm-sse ;
 874
 875 : FXSAVE     ( dest -- ) { 0b000 f { 0x0f 0xae } } 1-operand ;
 876 : FXRSTOR    ( src -- )  { 0b001 f { 0x0f 0xae } } 1-operand ;
 877 : LDMXCSR    ( src -- )  { 0b010 f { 0x0f 0xae } } 1-operand ;
 878 : STMXCSR    ( dest -- ) { 0b011 f { 0x0f 0xae } } 1-operand ;
 879 : LFENCE     ( -- ) 0x0f , 0xae , 0o350 , ;
 880 : MFENCE     ( -- ) 0x0f , 0xae , 0o360 , ;
 881 : SFENCE     ( -- ) 0x0f , 0xae , 0o370 , ;
 882 : CLFLUSH    ( dest -- ) { 0b111 f { 0x0f 0xae } } 1-operand ;
 883
 884 : POPCNT     ( dest src -- ) 0xb8 0xf3 2-operand-rm-sse ;
 885
 886 : CMPEQPS    ( dest src -- ) 0 0xc2 f       2-operand-sse-cmp ;
 887 : CMPLTPS    ( dest src -- ) 1 0xc2 f       2-operand-sse-cmp ;
 888 : CMPLEPS    ( dest src -- ) 2 0xc2 f       2-operand-sse-cmp ;
 889 : CMPUNORDPS ( dest src -- ) 3 0xc2 f       2-operand-sse-cmp ;
 890 : CMPNEQPS   ( dest src -- ) 4 0xc2 f       2-operand-sse-cmp ;
 891 : CMPNLTPS   ( dest src -- ) 5 0xc2 f       2-operand-sse-cmp ;
 892 : CMPNLEPS   ( dest src -- ) 6 0xc2 f       2-operand-sse-cmp ;
 893 : CMPORDPS   ( dest src -- ) 7 0xc2 f       2-operand-sse-cmp ;
 894
 895 : CMPEQPD    ( dest src -- ) 0 0xc2 0x66 2-operand-sse-cmp ;
 896 : CMPLTPD    ( dest src -- ) 1 0xc2 0x66 2-operand-sse-cmp ;
 897 : CMPLEPD    ( dest src -- ) 2 0xc2 0x66 2-operand-sse-cmp ;
 898 : CMPUNORDPD ( dest src -- ) 3 0xc2 0x66 2-operand-sse-cmp ;
 899 : CMPNEQPD   ( dest src -- ) 4 0xc2 0x66 2-operand-sse-cmp ;
 900 : CMPNLTPD   ( dest src -- ) 5 0xc2 0x66 2-operand-sse-cmp ;
 901 : CMPNLEPD   ( dest src -- ) 6 0xc2 0x66 2-operand-sse-cmp ;
 902 : CMPORDPD   ( dest src -- ) 7 0xc2 0x66 2-operand-sse-cmp ;
 903
 904 : CMPEQSD    ( dest src -- ) 0 0xc2 0xf2 2-operand-sse-cmp ;
 905 : CMPLTSD    ( dest src -- ) 1 0xc2 0xf2 2-operand-sse-cmp ;
 906 : CMPLESD    ( dest src -- ) 2 0xc2 0xf2 2-operand-sse-cmp ;
 907 : CMPUNORDSD ( dest src -- ) 3 0xc2 0xf2 2-operand-sse-cmp ;
 908 : CMPNEQSD   ( dest src -- ) 4 0xc2 0xf2 2-operand-sse-cmp ;
 909 : CMPNLTSD   ( dest src -- ) 5 0xc2 0xf2 2-operand-sse-cmp ;
 910 : CMPNLESD   ( dest src -- ) 6 0xc2 0xf2 2-operand-sse-cmp ;
 911 : CMPORDSD   ( dest src -- ) 7 0xc2 0xf2 2-operand-sse-cmp ;
 912
 913 : CMPEQSS    ( dest src -- ) 0 0xc2 0xf3 2-operand-sse-cmp ;
 914 : CMPLTSS    ( dest src -- ) 1 0xc2 0xf3 2-operand-sse-cmp ;
 915 : CMPLESS    ( dest src -- ) 2 0xc2 0xf3 2-operand-sse-cmp ;
 916 : CMPUNORDSS ( dest src -- ) 3 0xc2 0xf3 2-operand-sse-cmp ;
 917 : CMPNEQSS   ( dest src -- ) 4 0xc2 0xf3 2-operand-sse-cmp ;
 918 : CMPNLTSS   ( dest src -- ) 5 0xc2 0xf3 2-operand-sse-cmp ;
 919 : CMPNLESS   ( dest src -- ) 6 0xc2 0xf3 2-operand-sse-cmp ;
 920 : CMPORDSS   ( dest src -- ) 7 0xc2 0xf3 2-operand-sse-cmp ;
 921
 922 : MOVNTI     ( dest src -- ) swap { 0x0f 0xc3 } (2-operand) ;
 923
 924 : PINSRW     ( dest src imm -- ) 0xc4 0x66 3-operand-rm-sse ;
 925 : SHUFPS     ( dest src imm -- ) 4shuffler 0xc6 f       3-operand-rm-sse ;
 926 : SHUFPD     ( dest src imm -- ) 2shuffler 0xc6 0x66 3-operand-rm-sse ;
 927
 928 : ADDSUBPD   ( dest src -- ) 0xd0 0x66 2-operand-rm-sse ;
 929 : ADDSUBPS   ( dest src -- ) 0xd0 0xf2 2-operand-rm-sse ;
 930 : PADDQ      ( dest src -- ) 0xd4 0x66 2-operand-rm-sse ;
 931 : PMULLW     ( dest src -- ) 0xd5 0x66 2-operand-rm-sse ;
 932 : PMOVMSKB   ( dest src -- ) 0xd7 0x66 2-operand-rm-sse ;
 933 : PSUBUSB    ( dest src -- ) 0xd8 0x66 2-operand-rm-sse ;
 934 : PSUBUSW    ( dest src -- ) 0xd9 0x66 2-operand-rm-sse ;
 935 : PMINUB     ( dest src -- ) 0xda 0x66 2-operand-rm-sse ;
 936 : PAND       ( dest src -- ) 0xdb 0x66 2-operand-rm-sse ;
 937 : PADDUSB    ( dest src -- ) 0xdc 0x66 2-operand-rm-sse ;
 938 : PADDUSW    ( dest src -- ) 0xdd 0x66 2-operand-rm-sse ;
 939 : PMAXUB     ( dest src -- ) 0xde 0x66 2-operand-rm-sse ;
 940 : PANDN      ( dest src -- ) 0xdf 0x66 2-operand-rm-sse ;
 941 : PAVGB      ( dest src -- ) 0xe0 0x66 2-operand-rm-sse ;
 942 : PAVGW      ( dest src -- ) 0xe3 0x66 2-operand-rm-sse ;
 943 : PMULHUW    ( dest src -- ) 0xe4 0x66 2-operand-rm-sse ;
 944 : PMULHW     ( dest src -- ) 0xe5 0x66 2-operand-rm-sse ;
 945 : CVTTPD2DQ  ( dest src -- ) 0xe6 0x66 2-operand-rm-sse ;
 946 : CVTPD2DQ   ( dest src -- ) 0xe6 0xf2 2-operand-rm-sse ;
 947 : CVTDQ2PD   ( dest src -- ) 0xe6 0xf3 2-operand-rm-sse ;
 948
 949 : MOVNTDQ    ( dest src -- ) 0xe7 0x66 2-operand-mr-sse ;
 950
 951 : PSUBSB     ( dest src -- ) 0xe8 0x66 2-operand-rm-sse ;
 952 : PSUBSW     ( dest src -- ) 0xe9 0x66 2-operand-rm-sse ;
 953 : PMINSW     ( dest src -- ) 0xea 0x66 2-operand-rm-sse ;
 954 : POR        ( dest src -- ) 0xeb 0x66 2-operand-rm-sse ;
 955 : PADDSB     ( dest src -- ) 0xec 0x66 2-operand-rm-sse ;
 956 : PADDSW     ( dest src -- ) 0xed 0x66 2-operand-rm-sse ;
 957 : PMAXSW     ( dest src -- ) 0xee 0x66 2-operand-rm-sse ;
 958 : PXOR       ( dest src -- ) 0xef 0x66 2-operand-rm-sse ;
 959 : LDDQU      ( dest src -- ) 0xf0 0xf2 2-operand-rm-sse ;
 960 : PMULUDQ    ( dest src -- ) 0xf4 0x66 2-operand-rm-sse ;
 961 : PMADDWD    ( dest src -- ) 0xf5 0x66 2-operand-rm-sse ;
 962 : PSADBW     ( dest src -- ) 0xf6 0x66 2-operand-rm-sse ;
 963 : MASKMOVDQU ( dest src -- ) 0xf7 0x66 2-operand-rm-sse ;
 964 : PSUBB      ( dest src -- ) 0xf8 0x66 2-operand-rm-sse ;
 965 : PSUBW      ( dest src -- ) 0xf9 0x66 2-operand-rm-sse ;
 966 : PSUBD      ( dest src -- ) 0xfa 0x66 2-operand-rm-sse ;
 967 : PSUBQ      ( dest src -- ) 0xfb 0x66 2-operand-rm-sse ;
 968 : PADDB      ( dest src -- ) 0xfc 0x66 2-operand-rm-sse ;
 969 : PADDW      ( dest src -- ) 0xfd 0x66 2-operand-rm-sse ;
 970 : PADDD      ( dest src -- ) 0xfe 0x66 2-operand-rm-sse ;
 971
 972 ! x86-64 branch prediction hints
 973
 974 : HWNT ( -- ) 0x2e , ; ! Hint branch Weakly Not Taken
 975 : HST  ( -- ) 0x3e , ; ! Hint branch Strongly Taken
 976
 977 ! interrupt instructions
 978
 979 : INT ( n -- ) dup 3 = [ drop 0xcc , ] [ 0xcd , 1, ] if ;
 980
 981 ! push/pop flags
 982
 983 : PUSHF ( -- ) 0x9c , ;
 984 : POPF  ( -- ) 0x9d , ;