basis/cpu/x86/assembler/assembler.factor

   1 ! Copyright (C) 2005, 2010 Slava Pestov, Joe Groff.
   2 ! See http://factorcode.org/license.txt for BSD license.
   3 USING: arrays io.binary kernel combinators
   4 combinators.short-circuit math math.bitwise locals namespaces
   5 make sequences words system layouts math.order accessors
   6 cpu.x86.assembler.operands cpu.x86.assembler.operands.private ;
   7 IN: cpu.x86.assembler
   8
   9 ! A postfix assembler for x86-32 and x86-64.
  10
  11 <PRIVATE
  12
  13 : reg-code ( reg -- n ) "register" word-prop 7 bitand ;
  14
  15 : indirect-base* ( op -- n ) base>> EBP or reg-code ;
  16
  17 : indirect-index* ( op -- n ) index>> ESP or reg-code ;
  18
  19 : indirect-scale* ( op -- n ) scale>> 0 or ;
  20
  21 GENERIC: sib-present? ( op -- ? )
  22
  23 M: indirect sib-present?
  24     {
  25         [ base>> { ESP RSP R12 } member? ]
  26         [ index>> ]
  27         [ scale>> ]
  28     } 1|| ;
  29
  30 M: register sib-present? drop f ;
  31
  32 GENERIC: r/m ( operand -- n )
  33
  34 M: indirect r/m
  35     dup sib-present?
  36     [ drop ESP reg-code ] [ indirect-base* ] if ;
  37
  38 M: register r/m reg-code ;
  39
  40 ! Immediate operands
  41 UNION: immediate byte integer ;
  42
  43 GENERIC: fits-in-byte? ( value -- ? )
  44
  45 M: byte fits-in-byte? drop t ;
  46
  47 M: integer fits-in-byte? -128 127 between? ;
  48
  49 GENERIC: modifier ( op -- n )
  50
  51 M: indirect modifier
  52     dup base>> [
  53         displacement>> {
  54             { [ dup not ] [ BIN: 00 ] }
  55             { [ dup fits-in-byte? ] [ BIN: 01 ] }
  56             { [ dup immediate? ] [ BIN: 10 ] }
  57         } cond nip
  58     ] [
  59         drop BIN: 00
  60     ] if ;
  61
  62 M: register modifier drop BIN: 11 ;
  63
  64 GENERIC# n, 1 ( value n -- )
  65
  66 M: integer n, >le % ;
  67 M: byte n, [ value>> ] dip n, ;
  68 : 1, ( n -- ) 1 n, ; inline
  69 : 4, ( n -- ) 4 n, ; inline
  70 : 2, ( n -- ) 2 n, ; inline
  71 : cell, ( n -- ) bootstrap-cell n, ; inline
  72
  73 : mod-r/m, ( reg operand -- )
  74     [ 3 shift ] [ [ modifier 6 shift ] [ r/m ] bi ] bi* bitor bitor , ;
  75
  76 : sib, ( operand -- )
  77     dup sib-present? [
  78         [ indirect-base* ]
  79         [ indirect-index* 3 shift ]
  80         [ indirect-scale* 6 shift ] tri bitor bitor ,
  81     ] [
  82         drop
  83     ] if ;
  84
  85 GENERIC: displacement, ( op -- )
  86
  87 M: indirect displacement,
  88     dup displacement>> dup [
  89         swap base>>
  90         [ dup fits-in-byte? [ , ] [ 4, ] if ] [ 4, ] if
  91     ] [ 2drop ] if ;
  92
  93 M: register displacement, drop ;
  94
  95 : addressing ( reg operand -- )
  96     [ mod-r/m, ] [ sib, ] [ displacement, ] tri ;
  97
  98 : rex.w? ( rex.w reg r/m -- ? )
  99     {
 100         { [ over register-128? ] [ nip operand-64? ] }
 101         { [ over not ] [ nip operand-64? ] }
 102         [ drop operand-64? ]
 103     } cond and ;
 104
 105 : rex.r ( m op -- n )
 106     extended? [ BIN: 00000100 bitor ] when ;
 107
 108 : rex.b ( m op -- n )
 109     [ extended? [ BIN: 00000001 bitor ] when ] keep
 110     dup indirect? [ index>> extended? [ BIN: 00000010 bitor ] when ] [ drop ] if ;
 111
 112 : no-prefix? ( prefix reg r/m -- ? )
 113     [ BIN: 01000000 = ]
 114     [ extended-8-bit-register? not ]
 115     [ extended-8-bit-register? not ] tri*
 116     and and ;
 117
 118 :: rex-prefix ( reg r/m rex.w -- )
 119     #! Compile an AMD64 REX prefix.
 120     rex.w reg r/m rex.w? BIN: 01001000 BIN: 01000000 ?
 121     reg rex.r
 122     r/m rex.b
 123     dup reg r/m no-prefix? [ drop ] [ , ] if ;
 124
 125 : 16-prefix ( reg -- )
 126     register-16? [ HEX: 66 , ] when ;
 127
 128 : prefix-1 ( reg rex.w -- )
 129     [ drop 16-prefix ] [ [ f ] 2dip rex-prefix ] 2bi ;
 130
 131 : short-operand ( reg rex.w n -- )
 132     #! Some instructions encode their single operand as part of
 133     #! the opcode.
 134     [ dupd prefix-1 reg-code ] dip + , ;
 135
 136 : opcode, ( opcode -- ) dup array? [ % ] [ , ] if ;
 137
 138 : extended-opcode ( opcode -- opcode' )
 139     dup array? [ OCT: 17 prefix ] [ OCT: 17 swap 2array ] if ;
 140
 141 : extended-opcode, ( opcode -- ) extended-opcode opcode, ;
 142
 143 : opcode-or ( opcode mask -- opcode' )
 144     over array?
 145     [ [ unclip-last ] dip bitor suffix ] [ bitor ] if ;
 146
 147 : 1-operand ( operand reg,rex.w,opcode -- )
 148     #! The 'reg' is not really a register, but a value for the
 149     #! 'reg' field of the mod-r/m byte.
 150     first3 [ [ over ] dip prefix-1 ] dip opcode, swap addressing ;
 151
 152 : immediate-operand-size-bit ( dst imm reg,rex.w,opcode -- imm dst reg,rex.w,opcode )
 153     over integer? [ first3 BIN: 1 opcode-or 3array ] when ;
 154
 155 : immediate-1* ( dst imm reg,rex.w,opcode -- )
 156     swap [ 1-operand ] dip 1, ;
 157
 158 : immediate-1 ( dst imm reg,rex.w,opcode -- )
 159     immediate-operand-size-bit immediate-1* ;
 160
 161 : immediate-4 ( dst imm reg,rex.w,opcode -- )
 162     immediate-operand-size-bit swap [ 1-operand ] dip 4, ;
 163
 164 : immediate-fits-in-size-bit ( dst imm reg,rex.w,opcode -- imm dst reg,rex.w,opcode )
 165     over integer? [ first3 BIN: 10 opcode-or 3array ] when ;
 166
 167 : immediate-1/4 ( dst imm reg,rex.w,opcode -- )
 168     #! If imm is a byte, compile the opcode and the byte.
 169     #! Otherwise, set the 8-bit operand flag in the opcode, and
 170     #! compile the cell. The 'reg' is not really a register, but
 171     #! a value for the 'reg' field of the mod-r/m byte.
 172     over fits-in-byte? [
 173         immediate-fits-in-size-bit immediate-1
 174     ] [
 175         immediate-4
 176     ] if ;
 177
 178 : (2-operand) ( reg operand op -- )
 179     [ 2dup t rex-prefix ] dip opcode,
 180     [ reg-code ] dip addressing ;
 181
 182 : direction-bit ( dst src op -- reg operand op' )
 183     pick register? pick register? not and
 184     [ BIN: 10 opcode-or ] [ swapd ] if ;
 185
 186 : operand-size-bit ( reg operand op -- reg operand op' )
 187     pick register-8? [ BIN: 1 opcode-or ] unless ;
 188
 189 : 2-operand ( dst src op -- )
 190     direction-bit operand-size-bit
 191     pick 16-prefix
 192     (2-operand) ;
 193
 194 PRIVATE>
 195
 196 ! Segment override prefixes
 197 : CS ( -- ) HEX: 2e , ;
 198 : ES ( -- ) HEX: 26 , ;
 199 : SS ( -- ) HEX: 36 , ;
 200 : FS ( -- ) HEX: 64 , ;
 201 : GS ( -- ) HEX: 65 , ;
 202
 203 ! Moving stuff
 204 GENERIC: PUSH ( op -- )
 205 M: register PUSH f HEX: 50 short-operand ;
 206 M: immediate PUSH HEX: 68 , 4, ;
 207 M: operand PUSH { BIN: 110 f HEX: ff } 1-operand ;
 208
 209 GENERIC: POP ( op -- )
 210 M: register POP f HEX: 58 short-operand ;
 211 M: operand POP { BIN: 000 f HEX: 8f } 1-operand ;
 212
 213 ! MOV where the src is immediate.
 214 <PRIVATE
 215
 216 GENERIC# (MOV-I) 1 ( dst src -- )
 217
 218 M: register (MOV-I)
 219     dup byte?
 220     [ [ t HEX: b0 short-operand ] [ 1, ] bi* ]
 221     [ [ t HEX: b8 short-operand ] [ cell, ] bi* ]
 222     if ;
 223
 224 M: operand (MOV-I)
 225     { BIN: 000 t HEX: c6 }
 226     over byte? [ immediate-1 ] [ immediate-4 ] if ;
 227
 228 PRIVATE>
 229
 230 GENERIC: MOV ( dst src -- )
 231 M: immediate MOV (MOV-I) ;
 232 M: operand MOV HEX: 88 2-operand ;
 233
 234 : LEA ( dst src -- ) swap HEX: 8d 2-operand ;
 235
 236 ! Control flow
 237 GENERIC: JMP ( op -- )
 238 M: integer JMP HEX: e9 , 4, ;
 239 M: operand JMP { BIN: 100 t HEX: ff } 1-operand ;
 240
 241 GENERIC: CALL ( op -- )
 242 M: integer CALL HEX: e8 , 4, ;
 243 M: operand CALL { BIN: 010 t HEX: ff } 1-operand ;
 244
 245 <PRIVATE
 246
 247 GENERIC# JUMPcc 1 ( addr opcode -- )
 248 M: integer JUMPcc extended-opcode, 4, ;
 249
 250 : SETcc ( dst opcode -- )
 251     { BIN: 000 t } swap suffix 1-operand ;
 252
 253 PRIVATE>
 254
 255 : JO  ( dst -- ) HEX: 80 JUMPcc ;
 256 : JNO ( dst -- ) HEX: 81 JUMPcc ;
 257 : JB  ( dst -- ) HEX: 82 JUMPcc ;
 258 : JAE ( dst -- ) HEX: 83 JUMPcc ;
 259 : JE  ( dst -- ) HEX: 84 JUMPcc ; ! aka JZ
 260 : JNE ( dst -- ) HEX: 85 JUMPcc ;
 261 : JBE ( dst -- ) HEX: 86 JUMPcc ;
 262 : JA  ( dst -- ) HEX: 87 JUMPcc ;
 263 : JS  ( dst -- ) HEX: 88 JUMPcc ;
 264 : JNS ( dst -- ) HEX: 89 JUMPcc ;
 265 : JP  ( dst -- ) HEX: 8a JUMPcc ;
 266 : JNP ( dst -- ) HEX: 8b JUMPcc ;
 267 : JL  ( dst -- ) HEX: 8c JUMPcc ;
 268 : JGE ( dst -- ) HEX: 8d JUMPcc ;
 269 : JLE ( dst -- ) HEX: 8e JUMPcc ;
 270 : JG  ( dst -- ) HEX: 8f JUMPcc ;
 271
 272 : SETO  ( dst -- ) { HEX: 0f HEX: 90 } SETcc ;
 273 : SETNO ( dst -- ) { HEX: 0f HEX: 91 } SETcc ;
 274 : SETB  ( dst -- ) { HEX: 0f HEX: 92 } SETcc ;
 275 : SETAE ( dst -- ) { HEX: 0f HEX: 93 } SETcc ;
 276 : SETE  ( dst -- ) { HEX: 0f HEX: 94 } SETcc ;
 277 : SETNE ( dst -- ) { HEX: 0f HEX: 95 } SETcc ;
 278 : SETBE ( dst -- ) { HEX: 0f HEX: 96 } SETcc ;
 279 : SETA  ( dst -- ) { HEX: 0f HEX: 97 } SETcc ;
 280 : SETS  ( dst -- ) { HEX: 0f HEX: 98 } SETcc ;
 281 : SETNS ( dst -- ) { HEX: 0f HEX: 99 } SETcc ;
 282 : SETP  ( dst -- ) { HEX: 0f HEX: 9a } SETcc ;
 283 : SETNP ( dst -- ) { HEX: 0f HEX: 9b } SETcc ;
 284 : SETL  ( dst -- ) { HEX: 0f HEX: 9c } SETcc ;
 285 : SETGE ( dst -- ) { HEX: 0f HEX: 9d } SETcc ;
 286 : SETLE ( dst -- ) { HEX: 0f HEX: 9e } SETcc ;
 287 : SETG  ( dst -- ) { HEX: 0f HEX: 9f } SETcc ;
 288
 289 : LEAVE ( -- ) HEX: c9 , ;
 290
 291 : RET ( n -- )
 292     dup zero? [ drop HEX: c3 , ] [ HEX: c2 , 2, ] if ;
 293
 294 ! Arithmetic
 295
 296 GENERIC: ADD ( dst src -- )
 297 M: immediate ADD { BIN: 000 t HEX: 80 } immediate-1/4 ;
 298 M: operand ADD OCT: 000 2-operand ;
 299
 300 GENERIC: OR ( dst src -- )
 301 M: immediate OR { BIN: 001 t HEX: 80 } immediate-1/4 ;
 302 M: operand OR OCT: 010 2-operand ;
 303
 304 GENERIC: ADC ( dst src -- )
 305 M: immediate ADC { BIN: 010 t HEX: 80 } immediate-1/4 ;
 306 M: operand ADC OCT: 020 2-operand ;
 307
 308 GENERIC: SBB ( dst src -- )
 309 M: immediate SBB { BIN: 011 t HEX: 80 } immediate-1/4 ;
 310 M: operand SBB OCT: 030 2-operand ;
 311
 312 GENERIC: AND ( dst src -- )
 313 M: immediate AND { BIN: 100 t HEX: 80 } immediate-1/4 ;
 314 M: operand AND OCT: 040 2-operand ;
 315
 316 GENERIC: SUB ( dst src -- )
 317 M: immediate SUB { BIN: 101 t HEX: 80 } immediate-1/4 ;
 318 M: operand SUB OCT: 050 2-operand ;
 319
 320 GENERIC: XOR ( dst src -- )
 321 M: immediate XOR { BIN: 110 t HEX: 80 } immediate-1/4 ;
 322 M: operand XOR OCT: 060 2-operand ;
 323
 324 GENERIC: CMP ( dst src -- )
 325 M: immediate CMP { BIN: 111 t HEX: 80 } immediate-1/4 ;
 326 M: operand CMP OCT: 070 2-operand ;
 327
 328 GENERIC: TEST ( dst src -- )
 329 M: immediate TEST { BIN: 0 t HEX: f7 } immediate-4 ;
 330 M: operand TEST OCT: 204 2-operand ;
 331
 332 : XCHG ( dst src -- ) OCT: 207 2-operand ;
 333
 334 : BSR ( dst src -- ) { HEX: 0f HEX: bd } (2-operand) ;
 335
 336 GENERIC: BT ( value n -- )
 337 M: immediate BT ( value n -- ) { BIN: 100 t { HEX: 0f HEX: ba } } immediate-1* ;
 338 M: operand   BT ( value n -- ) swap { HEX: 0f HEX: a3 } (2-operand) ;
 339
 340 GENERIC: BTC ( value n -- )
 341 M: immediate BTC ( value n -- ) { BIN: 111 t { HEX: 0f HEX: ba } } immediate-1* ;
 342 M: operand   BTC ( value n -- ) swap { HEX: 0f HEX: bb } (2-operand) ;
 343
 344 GENERIC: BTR ( value n -- )
 345 M: immediate BTR ( value n -- ) { BIN: 110 t { HEX: 0f HEX: ba } } immediate-1* ;
 346 M: operand   BTR ( value n -- ) swap { HEX: 0f HEX: b3 } (2-operand) ;
 347
 348 GENERIC: BTS ( value n -- )
 349 M: immediate BTS ( value n -- ) { BIN: 101 t { HEX: 0f HEX: ba } } immediate-1* ;
 350 M: operand   BTS ( value n -- ) swap { HEX: 0f HEX: ab } (2-operand) ;
 351
 352 : NOT  ( dst -- ) { BIN: 010 t HEX: f7 } 1-operand ;
 353 : NEG  ( dst -- ) { BIN: 011 t HEX: f7 } 1-operand ;
 354 : MUL  ( dst -- ) { BIN: 100 t HEX: f7 } 1-operand ;
 355 : IMUL ( src -- ) { BIN: 101 t HEX: f7 } 1-operand ;
 356 : DIV  ( dst -- ) { BIN: 110 t HEX: f7 } 1-operand ;
 357 : IDIV ( src -- ) { BIN: 111 t HEX: f7 } 1-operand ;
 358
 359 : CDQ ( -- ) HEX: 99 , ;
 360 : CQO ( -- ) HEX: 48 , CDQ ;
 361
 362 <PRIVATE
 363
 364 :: (SHIFT) ( dst src op -- )
 365     src CL eq? [
 366         dst { op t HEX: d3 } 1-operand
 367     ] [
 368         dst src { op t HEX: c0 } immediate-1
 369     ] if ; inline
 370
 371 PRIVATE>
 372
 373 : ROL ( dst n -- ) BIN: 000 (SHIFT) ;
 374 : ROR ( dst n -- ) BIN: 001 (SHIFT) ;
 375 : RCL ( dst n -- ) BIN: 010 (SHIFT) ;
 376 : RCR ( dst n -- ) BIN: 011 (SHIFT) ;
 377 : SHL ( dst n -- ) BIN: 100 (SHIFT) ;
 378 : SHR ( dst n -- ) BIN: 101 (SHIFT) ;
 379 : SAR ( dst n -- ) BIN: 111 (SHIFT) ;
 380
 381 : IMUL2 ( dst src -- )
 382     OCT: 257 extended-opcode (2-operand) ;
 383
 384 : IMUL3 ( dst src imm -- )
 385     dup fits-in-byte? [
 386         [ swap HEX: 6a 2-operand ] dip 1,
 387     ] [
 388         [ swap HEX: 68 2-operand ] dip 4,
 389     ] if ;
 390
 391 : MOVSX ( dst src -- )
 392     dup register-32? OCT: 143 OCT: 276 extended-opcode ?
 393     over register-16? [ BIN: 1 opcode-or ] when
 394     (2-operand) ;
 395
 396 : MOVZX ( dst src -- )
 397     OCT: 266 extended-opcode
 398     over register-16? [ BIN: 1 opcode-or ] when
 399     (2-operand) ;
 400
 401 ! Conditional move
 402 : MOVcc ( dst src cc -- ) extended-opcode (2-operand) ;
 403
 404 : CMOVO  ( dst src -- ) HEX: 40 MOVcc ;
 405 : CMOVNO ( dst src -- ) HEX: 41 MOVcc ;
 406 : CMOVB  ( dst src -- ) HEX: 42 MOVcc ;
 407 : CMOVAE ( dst src -- ) HEX: 43 MOVcc ;
 408 : CMOVE  ( dst src -- ) HEX: 44 MOVcc ; ! aka CMOVZ
 409 : CMOVNE ( dst src -- ) HEX: 45 MOVcc ;
 410 : CMOVBE ( dst src -- ) HEX: 46 MOVcc ;
 411 : CMOVA  ( dst src -- ) HEX: 47 MOVcc ;
 412 : CMOVS  ( dst src -- ) HEX: 48 MOVcc ;
 413 : CMOVNS ( dst src -- ) HEX: 49 MOVcc ;
 414 : CMOVP  ( dst src -- ) HEX: 4a MOVcc ;
 415 : CMOVNP ( dst src -- ) HEX: 4b MOVcc ;
 416 : CMOVL  ( dst src -- ) HEX: 4c MOVcc ;
 417 : CMOVGE ( dst src -- ) HEX: 4d MOVcc ;
 418 : CMOVLE ( dst src -- ) HEX: 4e MOVcc ;
 419 : CMOVG  ( dst src -- ) HEX: 4f MOVcc ;
 420
 421 ! CPU Identification
 422
 423 : CPUID ( -- ) HEX: a2 extended-opcode, ;
 424
 425 ! Misc
 426
 427 : NOP ( -- ) HEX: 90 , ;
 428 : PAUSE ( -- ) HEX: f3 , HEX: 90 , ;
 429
 430 : RDTSC ( -- ) HEX: 0f , HEX: 31 , ;
 431 : RDPMC ( -- ) HEX: 0f , HEX: 33 , ;
 432
 433 ! x87 Floating Point Unit
 434
 435 : FSTPS ( operand -- ) { BIN: 011 f HEX: d9 } 1-operand ;
 436 : FSTPL ( operand -- ) { BIN: 011 f HEX: dd } 1-operand ;
 437
 438 : FLDS ( operand -- ) { BIN: 000 f HEX: d9 } 1-operand ;
 439 : FLDL ( operand -- ) { BIN: 000 f HEX: dd } 1-operand ;
 440
 441 : FNSTCW ( operand -- ) { BIN: 111 f HEX: d9 } 1-operand ;
 442 : FNSTSW ( operand -- ) { BIN: 111 f HEX: dd } 1-operand ;
 443 : FLDCW ( operand -- ) { BIN: 101 f HEX: d9 } 1-operand ;
 444
 445 : FNCLEX ( -- ) HEX: db , HEX: e2 , ;
 446 : FNINIT ( -- ) HEX: db , HEX: e3 , ;
 447
 448 ERROR: bad-x87-operands ;
 449
 450 <PRIVATE
 451
 452 :: (x87-op) ( operand opcode reg -- )
 453     opcode ,
 454     BIN: 1100,0000 reg
 455     3 shift bitor
 456     operand reg-code bitor , ;
 457
 458 :: x87-st0-op ( src opcode reg -- )
 459     src register?
 460     [ src opcode reg (x87-op) ]
 461     [ bad-x87-operands ] if ;
 462
 463 :: x87-m-st0/n-op ( dst src opcode reg -- )
 464     {
 465         { [ dst ST0 = src indirect? and ] [
 466             src { reg f opcode } 1-operand
 467         ] }
 468         { [ dst ST0 = src register? and ] [
 469             src opcode reg (x87-op)
 470         ] }
 471         { [ src ST0 = dst register? and ] [
 472             dst opcode 4 + reg (x87-op)
 473         ] }
 474         [ bad-x87-operands ]
 475     } cond ;
 476
 477 PRIVATE>
 478
 479 : F2XM1 ( -- ) { HEX: D9 HEX: F0 } % ;
 480 : FABS ( -- ) { HEX: D9 HEX: E1 } % ;
 481 : FADD ( dst src -- ) HEX: D8 0 x87-m-st0/n-op ;
 482 : FCHS ( -- ) { HEX: D9 HEX: E0 } % ;
 483
 484 : FCMOVB   ( src -- ) HEX: DA 0 x87-st0-op ;
 485 : FCMOVE   ( src -- ) HEX: DA 1 x87-st0-op ;
 486 : FCMOVBE  ( src -- ) HEX: DA 2 x87-st0-op ;
 487 : FCMOVU   ( src -- ) HEX: DA 3 x87-st0-op ;
 488 : FCMOVNB  ( src -- ) HEX: DB 0 x87-st0-op ;
 489 : FCMOVNE  ( src -- ) HEX: DB 1 x87-st0-op ;
 490 : FCMOVNBE ( src -- ) HEX: DB 2 x87-st0-op ;
 491 : FCMOVNU  ( src -- ) HEX: DB 3 x87-st0-op ;
 492
 493 : FCOMI ( src -- ) HEX: DB 6 x87-st0-op ;
 494 : FUCOMI ( src -- ) HEX: DB 5 x87-st0-op ;
 495 : FCOS ( -- ) { HEX: D9 HEX: FF } % ;
 496 : FDECSTP ( -- ) { HEX: D9 HEX: F6 } % ;
 497 : FINCSTP ( -- ) { HEX: D9 HEX: F7 } % ;
 498 : FDIV  ( dst src -- ) HEX: D8 6 x87-m-st0/n-op ;
 499 : FDIVR ( dst src -- ) HEX: D8 7 x87-m-st0/n-op ;
 500
 501 : FILDD ( src -- )  { BIN: 000 f HEX: DB } 1-operand ;
 502 : FILDQ ( src -- )  { BIN: 101 f HEX: DF } 1-operand ;
 503 : FISTPD ( dst -- ) { BIN: 011 f HEX: DB } 1-operand ;
 504 : FISTPQ ( dst -- ) { BIN: 111 f HEX: DF } 1-operand ;
 505 : FISTTPD ( dst -- ) { BIN: 001 f HEX: DB } 1-operand ;
 506 : FISTTPQ ( dst -- ) { BIN: 001 f HEX: DF } 1-operand ;
 507
 508 : FLD    ( src -- ) HEX: D9 0 x87-st0-op ;
 509 : FLD1   ( -- ) { HEX: D9 HEX: E8 } % ;
 510 : FLDL2T ( -- ) { HEX: D9 HEX: E9 } % ;
 511 : FLDL2E ( -- ) { HEX: D9 HEX: EA } % ;
 512 : FLDPI  ( -- ) { HEX: D9 HEX: EB } % ;
 513 : FLDLG2 ( -- ) { HEX: D9 HEX: EC } % ;
 514 : FLDLN2 ( -- ) { HEX: D9 HEX: ED } % ;
 515 : FLDZ   ( -- ) { HEX: D9 HEX: EE } % ;
 516
 517 : FMUL ( dst src -- ) HEX: D8 1 x87-m-st0/n-op ;
 518 : FNOP ( -- ) { HEX: D9 HEX: D0 } % ;
 519 : FPATAN ( -- ) { HEX: D9 HEX: F3 } % ;
 520 : FPREM  ( -- ) { HEX: D9 HEX: F8 } % ;
 521 : FPREM1 ( -- ) { HEX: D9 HEX: F5 } % ;
 522 : FRNDINT ( -- ) { HEX: D9 HEX: FC } % ;
 523 : FSCALE ( -- ) { HEX: D9 HEX: FD } % ;
 524 : FSIN ( -- ) { HEX: D9 HEX: FE } % ;
 525 : FSINCOS ( -- ) { HEX: D9 HEX: FB } % ;
 526 : FSQRT ( -- ) { HEX: D9 HEX: FA } % ;
 527
 528 : FSUB  ( dst src -- ) HEX: D8 HEX: 4 x87-m-st0/n-op ;
 529 : FSUBR ( dst src -- ) HEX: D8 HEX: 5 x87-m-st0/n-op ;
 530
 531 : FST  ( src -- ) HEX: DD 2 x87-st0-op ;
 532 : FSTP ( src -- ) HEX: DD 3 x87-st0-op ;
 533
 534 : FXAM ( -- ) { HEX: D9 HEX: E5 } % ;
 535 : FXCH ( src -- ) HEX: D9 1 x87-st0-op ;
 536
 537 : FXTRACT ( -- ) { HEX: D9 HEX: F4 } % ;
 538 : FYL2X ( -- ) { HEX: D9 HEX: F1 } % ;
 539 : FYL2XP1 ( -- ) { HEX: D9 HEX: F1 } % ;
 540
 541 ! SSE multimedia instructions
 542
 543 <PRIVATE
 544
 545 : direction-bit-sse ( dst src op1 -- dst' src' op1' )
 546     pick register-128? [ swapd BIN: 1 bitor ] unless ;
 547
 548 : 2-operand-sse ( dst src op1 op2 -- )
 549     [ , ] when* direction-bit-sse extended-opcode (2-operand) ;
 550
 551 : direction-op-sse ( dst src op1s -- dst' src' op1' )
 552     pick register-128? [ first ] [ swapd second ] if ;
 553
 554 : 2-operand-rm-mr-sse ( dst src op1{rm,mr} op2 -- )
 555     [ , ] when* direction-op-sse extended-opcode (2-operand) ;
 556
 557 : 2-operand-rm-mr-sse* ( dst src op12{rm,mr} -- )
 558     direction-op-sse first2 [ , ] when* extended-opcode (2-operand) ;
 559
 560 : 2-operand-rm-sse ( dst src op1 op2 -- )
 561     [ , ] when* extended-opcode (2-operand) ;
 562
 563 : 2-operand-mr-sse ( dst src op1 op2 -- )
 564     [ , ] when* extended-opcode swapd (2-operand) ;
 565
 566 : 2-operand-int/sse ( dst src op1 op2 -- )
 567     [ , ] when* extended-opcode (2-operand) ;
 568
 569 :: 3-operand-rm-sse ( dst src imm op1 op2 -- )
 570     dst src op1 op2 2-operand-rm-sse imm , ;
 571
 572 :: 3-operand-mr-sse ( dst src imm op1 op2 -- )
 573     dst src op1 op2 2-operand-mr-sse imm , ;
 574
 575 :: 3-operand-rm-mr-sse ( dst src imm op1 op2 -- )
 576     dst src op1 op2 2-operand-rm-mr-sse imm , ;
 577
 578 : 2-operand-sse-cmp ( dst src cmp op1 op2 -- )
 579     3-operand-rm-sse ; inline
 580
 581 : 2-operand-sse-shift ( dst imm reg op1 op2 -- )
 582     [ , ] when*
 583     [ f HEX: 0f ] dip 2array 3array
 584     swapd 1-operand , ;
 585
 586 PRIVATE>
 587
 588 : MOVUPS     ( dest src -- ) HEX: 10 f       2-operand-sse ;
 589 : MOVUPD     ( dest src -- ) HEX: 10 HEX: 66 2-operand-sse ;
 590 : MOVSD      ( dest src -- ) HEX: 10 HEX: f2 2-operand-sse ;
 591 : MOVSS      ( dest src -- ) HEX: 10 HEX: f3 2-operand-sse ;
 592 : MOVLPS     ( dest src -- ) HEX: 12 f       2-operand-sse ;
 593 : MOVLPD     ( dest src -- ) HEX: 12 HEX: 66 2-operand-sse ;
 594 : MOVDDUP    ( dest src -- ) HEX: 12 HEX: f2 2-operand-rm-sse ;
 595 : MOVSLDUP   ( dest src -- ) HEX: 12 HEX: f3 2-operand-rm-sse ;
 596 : UNPCKLPS   ( dest src -- ) HEX: 14 f       2-operand-rm-sse ;
 597 : UNPCKLPD   ( dest src -- ) HEX: 14 HEX: 66 2-operand-rm-sse ;
 598 : UNPCKHPS   ( dest src -- ) HEX: 15 f       2-operand-rm-sse ;
 599 : UNPCKHPD   ( dest src -- ) HEX: 15 HEX: 66 2-operand-rm-sse ;
 600 : MOVHPS     ( dest src -- ) HEX: 16 f       2-operand-sse ;
 601 : MOVHPD     ( dest src -- ) HEX: 16 HEX: 66 2-operand-sse ;
 602 : MOVSHDUP   ( dest src -- ) HEX: 16 HEX: f3 2-operand-rm-sse ;
 603
 604 ALIAS: MOVHLPS MOVLPS
 605 ALIAS: MOVLHPS MOVHPS
 606
 607 : PREFETCHNTA ( mem -- )  { BIN: 000 f { HEX: 0f HEX: 18 } } 1-operand ;
 608 : PREFETCHT0  ( mem -- )  { BIN: 001 f { HEX: 0f HEX: 18 } } 1-operand ;
 609 : PREFETCHT1  ( mem -- )  { BIN: 010 f { HEX: 0f HEX: 18 } } 1-operand ;
 610 : PREFETCHT2  ( mem -- )  { BIN: 011 f { HEX: 0f HEX: 18 } } 1-operand ;
 611
 612 : MOVAPS     ( dest src -- ) HEX: 28 f       2-operand-sse ;
 613 : MOVAPD     ( dest src -- ) HEX: 28 HEX: 66 2-operand-sse ;
 614 : CVTSI2SD   ( dest src -- ) HEX: 2a HEX: f2 2-operand-int/sse ;
 615 : CVTSI2SS   ( dest src -- ) HEX: 2a HEX: f3 2-operand-int/sse ;
 616 : MOVNTPS    ( dest src -- ) HEX: 2b f       2-operand-mr-sse ;
 617 : MOVNTPD    ( dest src -- ) HEX: 2b HEX: 66 2-operand-mr-sse ;
 618 : CVTTSD2SI  ( dest src -- ) HEX: 2c HEX: f2 2-operand-int/sse ;
 619 : CVTTSS2SI  ( dest src -- ) HEX: 2c HEX: f3 2-operand-int/sse ;
 620 : CVTSD2SI   ( dest src -- ) HEX: 2d HEX: f2 2-operand-int/sse ;
 621 : CVTSS2SI   ( dest src -- ) HEX: 2d HEX: f3 2-operand-int/sse ;
 622 : UCOMISS    ( dest src -- ) HEX: 2e f       2-operand-rm-sse ;
 623 : UCOMISD    ( dest src -- ) HEX: 2e HEX: 66 2-operand-rm-sse ;
 624 : COMISS     ( dest src -- ) HEX: 2f f       2-operand-rm-sse ;
 625 : COMISD     ( dest src -- ) HEX: 2f HEX: 66 2-operand-rm-sse ;
 626
 627 : PSHUFB     ( dest src -- ) { HEX: 38 HEX: 00 } HEX: 66 2-operand-rm-sse ;
 628 : PHADDW     ( dest src -- ) { HEX: 38 HEX: 01 } HEX: 66 2-operand-rm-sse ;
 629 : PHADDD     ( dest src -- ) { HEX: 38 HEX: 02 } HEX: 66 2-operand-rm-sse ;
 630 : PHADDSW    ( dest src -- ) { HEX: 38 HEX: 03 } HEX: 66 2-operand-rm-sse ;
 631 : PMADDUBSW  ( dest src -- ) { HEX: 38 HEX: 04 } HEX: 66 2-operand-rm-sse ;
 632 : PHSUBW     ( dest src -- ) { HEX: 38 HEX: 05 } HEX: 66 2-operand-rm-sse ;
 633 : PHSUBD     ( dest src -- ) { HEX: 38 HEX: 06 } HEX: 66 2-operand-rm-sse ;
 634 : PHSUBSW    ( dest src -- ) { HEX: 38 HEX: 07 } HEX: 66 2-operand-rm-sse ;
 635 : PSIGNB     ( dest src -- ) { HEX: 38 HEX: 08 } HEX: 66 2-operand-rm-sse ;
 636 : PSIGNW     ( dest src -- ) { HEX: 38 HEX: 09 } HEX: 66 2-operand-rm-sse ;
 637 : PSIGND     ( dest src -- ) { HEX: 38 HEX: 0a } HEX: 66 2-operand-rm-sse ;
 638 : PMULHRSW   ( dest src -- ) { HEX: 38 HEX: 0b } HEX: 66 2-operand-rm-sse ;
 639 : PBLENDVB   ( dest src -- ) { HEX: 38 HEX: 10 } HEX: 66 2-operand-rm-sse ;
 640 : BLENDVPS   ( dest src -- ) { HEX: 38 HEX: 14 } HEX: 66 2-operand-rm-sse ;
 641 : BLENDVPD   ( dest src -- ) { HEX: 38 HEX: 15 } HEX: 66 2-operand-rm-sse ;
 642 : PTEST      ( dest src -- ) { HEX: 38 HEX: 17 } HEX: 66 2-operand-rm-sse ;
 643 : PABSB      ( dest src -- ) { HEX: 38 HEX: 1c } HEX: 66 2-operand-rm-sse ;
 644 : PABSW      ( dest src -- ) { HEX: 38 HEX: 1d } HEX: 66 2-operand-rm-sse ;
 645 : PABSD      ( dest src -- ) { HEX: 38 HEX: 1e } HEX: 66 2-operand-rm-sse ;
 646 : PMOVSXBW   ( dest src -- ) { HEX: 38 HEX: 20 } HEX: 66 2-operand-rm-sse ;
 647 : PMOVSXBD   ( dest src -- ) { HEX: 38 HEX: 21 } HEX: 66 2-operand-rm-sse ;
 648 : PMOVSXBQ   ( dest src -- ) { HEX: 38 HEX: 22 } HEX: 66 2-operand-rm-sse ;
 649 : PMOVSXWD   ( dest src -- ) { HEX: 38 HEX: 23 } HEX: 66 2-operand-rm-sse ;
 650 : PMOVSXWQ   ( dest src -- ) { HEX: 38 HEX: 24 } HEX: 66 2-operand-rm-sse ;
 651 : PMOVSXDQ   ( dest src -- ) { HEX: 38 HEX: 25 } HEX: 66 2-operand-rm-sse ;
 652 : PMULDQ     ( dest src -- ) { HEX: 38 HEX: 28 } HEX: 66 2-operand-rm-sse ;
 653 : PCMPEQQ    ( dest src -- ) { HEX: 38 HEX: 29 } HEX: 66 2-operand-rm-sse ;
 654 : MOVNTDQA   ( dest src -- ) { HEX: 38 HEX: 2a } HEX: 66 2-operand-rm-sse ;
 655 : PACKUSDW   ( dest src -- ) { HEX: 38 HEX: 2b } HEX: 66 2-operand-rm-sse ;
 656 : PMOVZXBW   ( dest src -- ) { HEX: 38 HEX: 30 } HEX: 66 2-operand-rm-sse ;
 657 : PMOVZXBD   ( dest src -- ) { HEX: 38 HEX: 31 } HEX: 66 2-operand-rm-sse ;
 658 : PMOVZXBQ   ( dest src -- ) { HEX: 38 HEX: 32 } HEX: 66 2-operand-rm-sse ;
 659 : PMOVZXWD   ( dest src -- ) { HEX: 38 HEX: 33 } HEX: 66 2-operand-rm-sse ;
 660 : PMOVZXWQ   ( dest src -- ) { HEX: 38 HEX: 34 } HEX: 66 2-operand-rm-sse ;
 661 : PMOVZXDQ   ( dest src -- ) { HEX: 38 HEX: 35 } HEX: 66 2-operand-rm-sse ;
 662 : PCMPGTQ    ( dest src -- ) { HEX: 38 HEX: 37 } HEX: 66 2-operand-rm-sse ;
 663 : PMINSB     ( dest src -- ) { HEX: 38 HEX: 38 } HEX: 66 2-operand-rm-sse ;
 664 : PMINSD     ( dest src -- ) { HEX: 38 HEX: 39 } HEX: 66 2-operand-rm-sse ;
 665 : PMINUW     ( dest src -- ) { HEX: 38 HEX: 3a } HEX: 66 2-operand-rm-sse ;
 666 : PMINUD     ( dest src -- ) { HEX: 38 HEX: 3b } HEX: 66 2-operand-rm-sse ;
 667 : PMAXSB     ( dest src -- ) { HEX: 38 HEX: 3c } HEX: 66 2-operand-rm-sse ;
 668 : PMAXSD     ( dest src -- ) { HEX: 38 HEX: 3d } HEX: 66 2-operand-rm-sse ;
 669 : PMAXUW     ( dest src -- ) { HEX: 38 HEX: 3e } HEX: 66 2-operand-rm-sse ;
 670 : PMAXUD     ( dest src -- ) { HEX: 38 HEX: 3f } HEX: 66 2-operand-rm-sse ;
 671 : PMULLD     ( dest src -- ) { HEX: 38 HEX: 40 } HEX: 66 2-operand-rm-sse ;
 672 : PHMINPOSUW ( dest src -- ) { HEX: 38 HEX: 41 } HEX: 66 2-operand-rm-sse ;
 673 : CRC32B     ( dest src -- ) { HEX: 38 HEX: f0 } HEX: f2 2-operand-rm-sse ;
 674 : CRC32      ( dest src -- ) { HEX: 38 HEX: f1 } HEX: f2 2-operand-rm-sse ;
 675
 676 : ROUNDPS    ( dest src imm -- ) { HEX: 3a HEX: 08 } HEX: 66 3-operand-rm-sse ;
 677 : ROUNDPD    ( dest src imm -- ) { HEX: 3a HEX: 09 } HEX: 66 3-operand-rm-sse ;
 678 : ROUNDSS    ( dest src imm -- ) { HEX: 3a HEX: 0a } HEX: 66 3-operand-rm-sse ;
 679 : ROUNDSD    ( dest src imm -- ) { HEX: 3a HEX: 0b } HEX: 66 3-operand-rm-sse ;
 680 : BLENDPS    ( dest src imm -- ) { HEX: 3a HEX: 0c } HEX: 66 3-operand-rm-sse ;
 681 : BLENDPD    ( dest src imm -- ) { HEX: 3a HEX: 0d } HEX: 66 3-operand-rm-sse ;
 682 : PBLENDW    ( dest src imm -- ) { HEX: 3a HEX: 0e } HEX: 66 3-operand-rm-sse ;
 683 : PALIGNR    ( dest src imm -- ) { HEX: 3a HEX: 0f } HEX: 66 3-operand-rm-sse ;
 684
 685 : PEXTRB     ( dest src imm -- ) { HEX: 3a HEX: 14 } HEX: 66 3-operand-mr-sse ;
 686
 687 <PRIVATE
 688 : (PEXTRW-sse1) ( dest src imm -- ) HEX: c5 HEX: 66 3-operand-rm-sse ;
 689 : (PEXTRW-sse4) ( dest src imm -- ) { HEX: 3a HEX: 15 } HEX: 66 3-operand-mr-sse ;
 690 PRIVATE>
 691
 692 : PEXTRW     ( dest src imm -- ) pick indirect? [ (PEXTRW-sse4) ] [ (PEXTRW-sse1) ] if ;
 693 : PEXTRD     ( dest src imm -- ) { HEX: 3a HEX: 16 } HEX: 66 3-operand-mr-sse ;
 694 ALIAS: PEXTRQ PEXTRD
 695 : EXTRACTPS  ( dest src imm -- ) { HEX: 3a HEX: 17 } HEX: 66 3-operand-mr-sse ;
 696
 697 : PINSRB     ( dest src imm -- ) { HEX: 3a HEX: 20 } HEX: 66 3-operand-rm-sse ;
 698 : INSERTPS   ( dest src imm -- ) { HEX: 3a HEX: 21 } HEX: 66 3-operand-rm-sse ;
 699 : PINSRD     ( dest src imm -- ) { HEX: 3a HEX: 22 } HEX: 66 3-operand-rm-sse ;
 700 ALIAS: PINSRQ PINSRD
 701 : DPPS       ( dest src imm -- ) { HEX: 3a HEX: 40 } HEX: 66 3-operand-rm-sse ;
 702 : DPPD       ( dest src imm -- ) { HEX: 3a HEX: 41 } HEX: 66 3-operand-rm-sse ;
 703 : MPSADBW    ( dest src imm -- ) { HEX: 3a HEX: 42 } HEX: 66 3-operand-rm-sse ;
 704 : PCMPESTRM  ( dest src imm -- ) { HEX: 3a HEX: 60 } HEX: 66 3-operand-rm-sse ;
 705 : PCMPESTRI  ( dest src imm -- ) { HEX: 3a HEX: 61 } HEX: 66 3-operand-rm-sse ;
 706 : PCMPISTRM  ( dest src imm -- ) { HEX: 3a HEX: 62 } HEX: 66 3-operand-rm-sse ;
 707 : PCMPISTRI  ( dest src imm -- ) { HEX: 3a HEX: 63 } HEX: 66 3-operand-rm-sse ;
 708
 709 : MOVMSKPS   ( dest src -- ) HEX: 50 f       2-operand-int/sse ;
 710 : MOVMSKPD   ( dest src -- ) HEX: 50 HEX: 66 2-operand-int/sse ;
 711 : SQRTPS     ( dest src -- ) HEX: 51 f       2-operand-rm-sse ;
 712 : SQRTPD     ( dest src -- ) HEX: 51 HEX: 66 2-operand-rm-sse ;
 713 : SQRTSD     ( dest src -- ) HEX: 51 HEX: f2 2-operand-rm-sse ;
 714 : SQRTSS     ( dest src -- ) HEX: 51 HEX: f3 2-operand-rm-sse ;
 715 : RSQRTPS    ( dest src -- ) HEX: 52 f       2-operand-rm-sse ;
 716 : RSQRTSS    ( dest src -- ) HEX: 52 HEX: f3 2-operand-rm-sse ;
 717 : RCPPS      ( dest src -- ) HEX: 53 f       2-operand-rm-sse ;
 718 : RCPSS      ( dest src -- ) HEX: 53 HEX: f3 2-operand-rm-sse ;
 719 : ANDPS      ( dest src -- ) HEX: 54 f       2-operand-rm-sse ;
 720 : ANDPD      ( dest src -- ) HEX: 54 HEX: 66 2-operand-rm-sse ;
 721 : ANDNPS     ( dest src -- ) HEX: 55 f       2-operand-rm-sse ;
 722 : ANDNPD     ( dest src -- ) HEX: 55 HEX: 66 2-operand-rm-sse ;
 723 : ORPS       ( dest src -- ) HEX: 56 f       2-operand-rm-sse ;
 724 : ORPD       ( dest src -- ) HEX: 56 HEX: 66 2-operand-rm-sse ;
 725 : XORPS      ( dest src -- ) HEX: 57 f       2-operand-rm-sse ;
 726 : XORPD      ( dest src -- ) HEX: 57 HEX: 66 2-operand-rm-sse ;
 727 : ADDPS      ( dest src -- ) HEX: 58 f       2-operand-rm-sse ;
 728 : ADDPD      ( dest src -- ) HEX: 58 HEX: 66 2-operand-rm-sse ;
 729 : ADDSD      ( dest src -- ) HEX: 58 HEX: f2 2-operand-rm-sse ;
 730 : ADDSS      ( dest src -- ) HEX: 58 HEX: f3 2-operand-rm-sse ;
 731 : MULPS      ( dest src -- ) HEX: 59 f       2-operand-rm-sse ;
 732 : MULPD      ( dest src -- ) HEX: 59 HEX: 66 2-operand-rm-sse ;
 733 : MULSD      ( dest src -- ) HEX: 59 HEX: f2 2-operand-rm-sse ;
 734 : MULSS      ( dest src -- ) HEX: 59 HEX: f3 2-operand-rm-sse ;
 735 : CVTPS2PD   ( dest src -- ) HEX: 5a f       2-operand-rm-sse ;
 736 : CVTPD2PS   ( dest src -- ) HEX: 5a HEX: 66 2-operand-rm-sse ;
 737 : CVTSD2SS   ( dest src -- ) HEX: 5a HEX: f2 2-operand-rm-sse ;
 738 : CVTSS2SD   ( dest src -- ) HEX: 5a HEX: f3 2-operand-rm-sse ;
 739 : CVTDQ2PS   ( dest src -- ) HEX: 5b f       2-operand-rm-sse ;
 740 : CVTPS2DQ   ( dest src -- ) HEX: 5b HEX: 66 2-operand-rm-sse ;
 741 : CVTTPS2DQ  ( dest src -- ) HEX: 5b HEX: f3 2-operand-rm-sse ;
 742 : SUBPS      ( dest src -- ) HEX: 5c f       2-operand-rm-sse ;
 743 : SUBPD      ( dest src -- ) HEX: 5c HEX: 66 2-operand-rm-sse ;
 744 : SUBSD      ( dest src -- ) HEX: 5c HEX: f2 2-operand-rm-sse ;
 745 : SUBSS      ( dest src -- ) HEX: 5c HEX: f3 2-operand-rm-sse ;
 746 : MINPS      ( dest src -- ) HEX: 5d f       2-operand-rm-sse ;
 747 : MINPD      ( dest src -- ) HEX: 5d HEX: 66 2-operand-rm-sse ;
 748 : MINSD      ( dest src -- ) HEX: 5d HEX: f2 2-operand-rm-sse ;
 749 : MINSS      ( dest src -- ) HEX: 5d HEX: f3 2-operand-rm-sse ;
 750 : DIVPS      ( dest src -- ) HEX: 5e f       2-operand-rm-sse ;
 751 : DIVPD      ( dest src -- ) HEX: 5e HEX: 66 2-operand-rm-sse ;
 752 : DIVSD      ( dest src -- ) HEX: 5e HEX: f2 2-operand-rm-sse ;
 753 : DIVSS      ( dest src -- ) HEX: 5e HEX: f3 2-operand-rm-sse ;
 754 : MAXPS      ( dest src -- ) HEX: 5f f       2-operand-rm-sse ;
 755 : MAXPD      ( dest src -- ) HEX: 5f HEX: 66 2-operand-rm-sse ;
 756 : MAXSD      ( dest src -- ) HEX: 5f HEX: f2 2-operand-rm-sse ;
 757 : MAXSS      ( dest src -- ) HEX: 5f HEX: f3 2-operand-rm-sse ;
 758 : PUNPCKLBW  ( dest src -- ) HEX: 60 HEX: 66 2-operand-rm-sse ;
 759 : PUNPCKLWD  ( dest src -- ) HEX: 61 HEX: 66 2-operand-rm-sse ;
 760 : PUNPCKLDQ  ( dest src -- ) HEX: 62 HEX: 66 2-operand-rm-sse ;
 761 : PACKSSWB   ( dest src -- ) HEX: 63 HEX: 66 2-operand-rm-sse ;
 762 : PCMPGTB    ( dest src -- ) HEX: 64 HEX: 66 2-operand-rm-sse ;
 763 : PCMPGTW    ( dest src -- ) HEX: 65 HEX: 66 2-operand-rm-sse ;
 764 : PCMPGTD    ( dest src -- ) HEX: 66 HEX: 66 2-operand-rm-sse ;
 765 : PACKUSWB   ( dest src -- ) HEX: 67 HEX: 66 2-operand-rm-sse ;
 766 : PUNPCKHBW  ( dest src -- ) HEX: 68 HEX: 66 2-operand-rm-sse ;
 767 : PUNPCKHWD  ( dest src -- ) HEX: 69 HEX: 66 2-operand-rm-sse ;
 768 : PUNPCKHDQ  ( dest src -- ) HEX: 6a HEX: 66 2-operand-rm-sse ;
 769 : PACKSSDW   ( dest src -- ) HEX: 6b HEX: 66 2-operand-rm-sse ;
 770 : PUNPCKLQDQ ( dest src -- ) HEX: 6c HEX: 66 2-operand-rm-sse ;
 771 : PUNPCKHQDQ ( dest src -- ) HEX: 6d HEX: 66 2-operand-rm-sse ;
 772
 773 : MOVD       ( dest src -- ) { HEX: 6e HEX: 7e } HEX: 66 2-operand-rm-mr-sse ;
 774 : MOVDQA     ( dest src -- ) { HEX: 6f HEX: 7f } HEX: 66 2-operand-rm-mr-sse ;
 775 : MOVDQU     ( dest src -- ) { HEX: 6f HEX: 7f } HEX: f3 2-operand-rm-mr-sse ;
 776
 777 : MOVQ       ( dest src -- )
 778     { { HEX: 7e HEX: f3 } { HEX: d6 HEX: 66 } } 2-operand-rm-mr-sse* ;
 779
 780 <PRIVATE
 781
 782 : 2shuffler ( indexes/mask -- mask )
 783     dup integer? [ first2 { 1 0 } bitfield ] unless ;
 784 : 4shuffler ( indexes/mask -- mask )
 785     dup integer? [ first4 { 6 4 2 0 } bitfield ] unless ;
 786
 787 PRIVATE>
 788
 789 : PSHUFD     ( dest src imm -- ) 4shuffler HEX: 70 HEX: 66 3-operand-rm-sse ;
 790 : PSHUFLW    ( dest src imm -- ) 4shuffler HEX: 70 HEX: f2 3-operand-rm-sse ;
 791 : PSHUFHW    ( dest src imm -- ) 4shuffler HEX: 70 HEX: f3 3-operand-rm-sse ;
 792
 793 <PRIVATE
 794
 795 : (PSRLW-imm) ( dest imm -- ) BIN: 010 HEX: 71 HEX: 66 2-operand-sse-shift ;
 796 : (PSRAW-imm) ( dest imm -- ) BIN: 100 HEX: 71 HEX: 66 2-operand-sse-shift ;
 797 : (PSLLW-imm) ( dest imm -- ) BIN: 110 HEX: 71 HEX: 66 2-operand-sse-shift ;
 798 : (PSRLD-imm) ( dest imm -- ) BIN: 010 HEX: 72 HEX: 66 2-operand-sse-shift ;
 799 : (PSRAD-imm) ( dest imm -- ) BIN: 100 HEX: 72 HEX: 66 2-operand-sse-shift ;
 800 : (PSLLD-imm) ( dest imm -- ) BIN: 110 HEX: 72 HEX: 66 2-operand-sse-shift ;
 801 : (PSRLQ-imm) ( dest imm -- ) BIN: 010 HEX: 73 HEX: 66 2-operand-sse-shift ;
 802 : (PSLLQ-imm) ( dest imm -- ) BIN: 110 HEX: 73 HEX: 66 2-operand-sse-shift ;
 803
 804 : (PSRLW-reg) ( dest src -- ) HEX: d1 HEX: 66 2-operand-rm-sse ;
 805 : (PSRLD-reg) ( dest src -- ) HEX: d2 HEX: 66 2-operand-rm-sse ;
 806 : (PSRLQ-reg) ( dest src -- ) HEX: d3 HEX: 66 2-operand-rm-sse ;
 807 : (PSRAW-reg) ( dest src -- ) HEX: e1 HEX: 66 2-operand-rm-sse ;
 808 : (PSRAD-reg) ( dest src -- ) HEX: e2 HEX: 66 2-operand-rm-sse ;
 809 : (PSLLW-reg) ( dest src -- ) HEX: f1 HEX: 66 2-operand-rm-sse ;
 810 : (PSLLD-reg) ( dest src -- ) HEX: f2 HEX: 66 2-operand-rm-sse ;
 811 : (PSLLQ-reg) ( dest src -- ) HEX: f3 HEX: 66 2-operand-rm-sse ;
 812
 813 PRIVATE>
 814
 815 : PSRLW ( dest src -- ) dup integer? [ (PSRLW-imm) ] [ (PSRLW-reg) ] if ;
 816 : PSRAW ( dest src -- ) dup integer? [ (PSRAW-imm) ] [ (PSRAW-reg) ] if ;
 817 : PSLLW ( dest src -- ) dup integer? [ (PSLLW-imm) ] [ (PSLLW-reg) ] if ;
 818 : PSRLD ( dest src -- ) dup integer? [ (PSRLD-imm) ] [ (PSRLD-reg) ] if ;
 819 : PSRAD ( dest src -- ) dup integer? [ (PSRAD-imm) ] [ (PSRAD-reg) ] if ;
 820 : PSLLD ( dest src -- ) dup integer? [ (PSLLD-imm) ] [ (PSLLD-reg) ] if ;
 821 : PSRLQ ( dest src -- ) dup integer? [ (PSRLQ-imm) ] [ (PSRLQ-reg) ] if ;
 822 : PSLLQ ( dest src -- ) dup integer? [ (PSLLQ-imm) ] [ (PSLLQ-reg) ] if ;
 823
 824 : PSRLDQ     ( dest imm -- ) BIN: 011 HEX: 73 HEX: 66 2-operand-sse-shift ;
 825 : PSLLDQ     ( dest imm -- ) BIN: 111 HEX: 73 HEX: 66 2-operand-sse-shift ;
 826
 827 : PCMPEQB    ( dest src -- ) HEX: 74 HEX: 66 2-operand-rm-sse ;
 828 : PCMPEQW    ( dest src -- ) HEX: 75 HEX: 66 2-operand-rm-sse ;
 829 : PCMPEQD    ( dest src -- ) HEX: 76 HEX: 66 2-operand-rm-sse ;
 830 : HADDPD     ( dest src -- ) HEX: 7c HEX: 66 2-operand-rm-sse ;
 831 : HADDPS     ( dest src -- ) HEX: 7c HEX: f2 2-operand-rm-sse ;
 832 : HSUBPD     ( dest src -- ) HEX: 7d HEX: 66 2-operand-rm-sse ;
 833 : HSUBPS     ( dest src -- ) HEX: 7d HEX: f2 2-operand-rm-sse ;
 834
 835 : FXSAVE     ( dest -- ) { BIN: 000 f { HEX: 0f HEX: ae } } 1-operand ;
 836 : FXRSTOR    ( src -- )  { BIN: 001 f { HEX: 0f HEX: ae } } 1-operand ;
 837 : LDMXCSR    ( src -- )  { BIN: 010 f { HEX: 0f HEX: ae } } 1-operand ;
 838 : STMXCSR    ( dest -- ) { BIN: 011 f { HEX: 0f HEX: ae } } 1-operand ;
 839 : LFENCE     ( -- ) HEX: 0f , HEX: ae , OCT: 350 , ;
 840 : MFENCE     ( -- ) HEX: 0f , HEX: ae , OCT: 360 , ;
 841 : SFENCE     ( -- ) HEX: 0f , HEX: ae , OCT: 370 , ;
 842 : CLFLUSH    ( dest -- ) { BIN: 111 f { HEX: 0f HEX: ae } } 1-operand ;
 843
 844 : POPCNT     ( dest src -- ) HEX: b8 HEX: f3 2-operand-rm-sse ;
 845
 846 : CMPEQPS    ( dest src -- ) 0 HEX: c2 f       2-operand-sse-cmp ;
 847 : CMPLTPS    ( dest src -- ) 1 HEX: c2 f       2-operand-sse-cmp ;
 848 : CMPLEPS    ( dest src -- ) 2 HEX: c2 f       2-operand-sse-cmp ;
 849 : CMPUNORDPS ( dest src -- ) 3 HEX: c2 f       2-operand-sse-cmp ;
 850 : CMPNEQPS   ( dest src -- ) 4 HEX: c2 f       2-operand-sse-cmp ;
 851 : CMPNLTPS   ( dest src -- ) 5 HEX: c2 f       2-operand-sse-cmp ;
 852 : CMPNLEPS   ( dest src -- ) 6 HEX: c2 f       2-operand-sse-cmp ;
 853 : CMPORDPS   ( dest src -- ) 7 HEX: c2 f       2-operand-sse-cmp ;
 854
 855 : CMPEQPD    ( dest src -- ) 0 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 856 : CMPLTPD    ( dest src -- ) 1 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 857 : CMPLEPD    ( dest src -- ) 2 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 858 : CMPUNORDPD ( dest src -- ) 3 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 859 : CMPNEQPD   ( dest src -- ) 4 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 860 : CMPNLTPD   ( dest src -- ) 5 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 861 : CMPNLEPD   ( dest src -- ) 6 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 862 : CMPORDPD   ( dest src -- ) 7 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 863
 864 : CMPEQSD    ( dest src -- ) 0 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 865 : CMPLTSD    ( dest src -- ) 1 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 866 : CMPLESD    ( dest src -- ) 2 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 867 : CMPUNORDSD ( dest src -- ) 3 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 868 : CMPNEQSD   ( dest src -- ) 4 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 869 : CMPNLTSD   ( dest src -- ) 5 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 870 : CMPNLESD   ( dest src -- ) 6 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 871 : CMPORDSD   ( dest src -- ) 7 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 872
 873 : CMPEQSS    ( dest src -- ) 0 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 874 : CMPLTSS    ( dest src -- ) 1 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 875 : CMPLESS    ( dest src -- ) 2 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 876 : CMPUNORDSS ( dest src -- ) 3 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 877 : CMPNEQSS   ( dest src -- ) 4 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 878 : CMPNLTSS   ( dest src -- ) 5 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 879 : CMPNLESS   ( dest src -- ) 6 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 880 : CMPORDSS   ( dest src -- ) 7 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 881
 882 : MOVNTI     ( dest src -- ) swap { HEX: 0f HEX: c3 } (2-operand) ;
 883
 884 : PINSRW     ( dest src imm -- ) HEX: c4 HEX: 66 3-operand-rm-sse ;
 885 : SHUFPS     ( dest src imm -- ) 4shuffler HEX: c6 f       3-operand-rm-sse ;
 886 : SHUFPD     ( dest src imm -- ) 2shuffler HEX: c6 HEX: 66 3-operand-rm-sse ;
 887
 888 : ADDSUBPD   ( dest src -- ) HEX: d0 HEX: 66 2-operand-rm-sse ;
 889 : ADDSUBPS   ( dest src -- ) HEX: d0 HEX: f2 2-operand-rm-sse ;
 890 : PADDQ      ( dest src -- ) HEX: d4 HEX: 66 2-operand-rm-sse ;
 891 : PMULLW     ( dest src -- ) HEX: d5 HEX: 66 2-operand-rm-sse ;
 892 : PMOVMSKB   ( dest src -- ) HEX: d7 HEX: 66 2-operand-rm-sse ;
 893 : PSUBUSB    ( dest src -- ) HEX: d8 HEX: 66 2-operand-rm-sse ;
 894 : PSUBUSW    ( dest src -- ) HEX: d9 HEX: 66 2-operand-rm-sse ;
 895 : PMINUB     ( dest src -- ) HEX: da HEX: 66 2-operand-rm-sse ;
 896 : PAND       ( dest src -- ) HEX: db HEX: 66 2-operand-rm-sse ;
 897 : PADDUSB    ( dest src -- ) HEX: dc HEX: 66 2-operand-rm-sse ;
 898 : PADDUSW    ( dest src -- ) HEX: dd HEX: 66 2-operand-rm-sse ;
 899 : PMAXUB     ( dest src -- ) HEX: de HEX: 66 2-operand-rm-sse ;
 900 : PANDN      ( dest src -- ) HEX: df HEX: 66 2-operand-rm-sse ;
 901 : PAVGB      ( dest src -- ) HEX: e0 HEX: 66 2-operand-rm-sse ;
 902 : PAVGW      ( dest src -- ) HEX: e3 HEX: 66 2-operand-rm-sse ;
 903 : PMULHUW    ( dest src -- ) HEX: e4 HEX: 66 2-operand-rm-sse ;
 904 : PMULHW     ( dest src -- ) HEX: e5 HEX: 66 2-operand-rm-sse ;
 905 : CVTTPD2DQ  ( dest src -- ) HEX: e6 HEX: 66 2-operand-rm-sse ;
 906 : CVTPD2DQ   ( dest src -- ) HEX: e6 HEX: f2 2-operand-rm-sse ;
 907 : CVTDQ2PD   ( dest src -- ) HEX: e6 HEX: f3 2-operand-rm-sse ;
 908
 909 : MOVNTDQ    ( dest src -- ) HEX: e7 HEX: 66 2-operand-mr-sse ;
 910
 911 : PSUBSB     ( dest src -- ) HEX: e8 HEX: 66 2-operand-rm-sse ;
 912 : PSUBSW     ( dest src -- ) HEX: e9 HEX: 66 2-operand-rm-sse ;
 913 : PMINSW     ( dest src -- ) HEX: ea HEX: 66 2-operand-rm-sse ;
 914 : POR        ( dest src -- ) HEX: eb HEX: 66 2-operand-rm-sse ;
 915 : PADDSB     ( dest src -- ) HEX: ec HEX: 66 2-operand-rm-sse ;
 916 : PADDSW     ( dest src -- ) HEX: ed HEX: 66 2-operand-rm-sse ;
 917 : PMAXSW     ( dest src -- ) HEX: ee HEX: 66 2-operand-rm-sse ;
 918 : PXOR       ( dest src -- ) HEX: ef HEX: 66 2-operand-rm-sse ;
 919 : LDDQU      ( dest src -- ) HEX: f0 HEX: f2 2-operand-rm-sse ;
 920 : PMULUDQ    ( dest src -- ) HEX: f4 HEX: 66 2-operand-rm-sse ;
 921 : PMADDWD    ( dest src -- ) HEX: f5 HEX: 66 2-operand-rm-sse ;
 922 : PSADBW     ( dest src -- ) HEX: f6 HEX: 66 2-operand-rm-sse ;
 923 : MASKMOVDQU ( dest src -- ) HEX: f7 HEX: 66 2-operand-rm-sse ;
 924 : PSUBB      ( dest src -- ) HEX: f8 HEX: 66 2-operand-rm-sse ;
 925 : PSUBW      ( dest src -- ) HEX: f9 HEX: 66 2-operand-rm-sse ;
 926 : PSUBD      ( dest src -- ) HEX: fa HEX: 66 2-operand-rm-sse ;
 927 : PSUBQ      ( dest src -- ) HEX: fb HEX: 66 2-operand-rm-sse ;
 928 : PADDB      ( dest src -- ) HEX: fc HEX: 66 2-operand-rm-sse ;
 929 : PADDW      ( dest src -- ) HEX: fd HEX: 66 2-operand-rm-sse ;
 930 : PADDD      ( dest src -- ) HEX: fe HEX: 66 2-operand-rm-sse ;
 931
 932 ! x86-64 branch prediction hints
 933
 934 : HWNT ( -- ) HEX: 2e , ; ! Hint branch Weakly Not Taken
 935 : HST  ( -- ) HEX: 3e , ; ! Hint branch Strongly Taken