basis/cpu/x86/assembler/assembler.factor

   1 ! Copyright (C) 2005, 2009 Slava Pestov, Joe Groff.
   2 ! See http://factorcode.org/license.txt for BSD license.
   3 USING: arrays io.binary kernel combinators kernel.private math locals
   4 namespaces make sequences words system layouts math.order accessors
   5 cpu.x86.assembler.operands cpu.x86.assembler.operands.private ;
   6 QUALIFIED: sequences
   7 IN: cpu.x86.assembler
   8
   9 ! A postfix assembler for x86-32 and x86-64.
  10
  11 <PRIVATE
  12
  13 : reg-code ( reg -- n ) "register" word-prop 7 bitand ;
  14
  15 : indirect-base* ( op -- n ) base>> EBP or reg-code ;
  16
  17 : indirect-index* ( op -- n ) index>> ESP or reg-code ;
  18
  19 : indirect-scale* ( op -- n ) scale>> 0 or ;
  20
  21 GENERIC: sib-present? ( op -- ? )
  22
  23 M: indirect sib-present?
  24     [ base>> { ESP RSP R12 } member? ] [ index>> ] [ scale>> ] tri or or ;
  25
  26 M: register sib-present? drop f ;
  27
  28 GENERIC: r/m ( operand -- n )
  29
  30 M: indirect r/m
  31     dup sib-present?
  32     [ drop ESP reg-code ] [ indirect-base* ] if ;
  33
  34 M: register r/m reg-code ;
  35
  36 ! Immediate operands
  37 UNION: immediate byte integer ;
  38
  39 GENERIC: fits-in-byte? ( value -- ? )
  40
  41 M: byte fits-in-byte? drop t ;
  42
  43 M: integer fits-in-byte? -128 127 between? ;
  44
  45 GENERIC: modifier ( op -- n )
  46
  47 M: indirect modifier
  48     dup base>> [
  49         displacement>> {
  50             { [ dup not ] [ BIN: 00 ] }
  51             { [ dup fits-in-byte? ] [ BIN: 01 ] }
  52             { [ dup immediate? ] [ BIN: 10 ] }
  53         } cond nip
  54     ] [
  55         drop BIN: 00
  56     ] if ;
  57
  58 M: register modifier drop BIN: 11 ;
  59
  60 GENERIC# n, 1 ( value n -- )
  61
  62 M: integer n, >le % ;
  63 M: byte n, [ value>> ] dip n, ;
  64 : 1, ( n -- ) 1 n, ; inline
  65 : 4, ( n -- ) 4 n, ; inline
  66 : 2, ( n -- ) 2 n, ; inline
  67 : cell, ( n -- ) bootstrap-cell n, ; inline
  68
  69 : mod-r/m, ( reg# indirect -- )
  70     [ 3 shift ] [ [ modifier 6 shift ] [ r/m ] bi ] bi* bitor bitor , ;
  71
  72 : sib, ( indirect -- )
  73     dup sib-present? [
  74         [ indirect-base* ]
  75         [ indirect-index* 3 shift ]
  76         [ indirect-scale* 6 shift ] tri bitor bitor ,
  77     ] [
  78         drop
  79     ] if ;
  80
  81 GENERIC: displacement, ( op -- )
  82
  83 M: indirect displacement,
  84     dup displacement>> dup [
  85         swap base>>
  86         [ dup fits-in-byte? [ , ] [ 4, ] if ] [ 4, ] if
  87     ] [ 2drop ] if ;
  88
  89 M: register displacement, drop ;
  90
  91 : addressing ( reg# indirect -- )
  92     [ mod-r/m, ] [ sib, ] [ displacement, ] tri ;
  93
  94 : rex.w? ( rex.w reg r/m -- ? )
  95     {
  96         { [ dup register-128? ] [ drop operand-64? ] }
  97         { [ dup not ] [ drop operand-64? ] }
  98         [ nip operand-64? ]
  99     } cond and ;
 100
 101 : rex.r ( m op -- n )
 102     extended? [ BIN: 00000100 bitor ] when ;
 103
 104 : rex.b ( m op -- n )
 105     [ extended? [ BIN: 00000001 bitor ] when ] keep
 106     dup indirect? [ index>> extended? [ BIN: 00000010 bitor ] when ] [ drop ] if ;
 107
 108 : no-prefix? ( prefix reg r/m -- ? )
 109     [ BIN: 01000000 = ]
 110     [ extended-8-bit-register? not ]
 111     [ extended-8-bit-register? not ] tri*
 112     and and ;
 113
 114 :: rex-prefix ( reg r/m rex.w -- )
 115     #! Compile an AMD64 REX prefix.
 116     rex.w reg r/m rex.w? BIN: 01001000 BIN: 01000000 ?
 117     r/m rex.r
 118     reg rex.b
 119     dup reg r/m no-prefix? [ drop ] [ , ] if ;
 120
 121 : 16-prefix ( reg r/m -- )
 122     [ register-16? ] either? [ HEX: 66 , ] when ;
 123
 124 : prefix ( reg r/m rex.w -- ) [ drop 16-prefix ] [ rex-prefix ] 3bi ;
 125
 126 : prefix-1 ( reg rex.w -- ) f swap prefix ;
 127
 128 : short-operand ( reg rex.w n -- )
 129     #! Some instructions encode their single operand as part of
 130     #! the opcode.
 131     [ dupd prefix-1 reg-code ] dip + , ;
 132
 133 : opcode, ( opcode -- ) dup array? [ % ] [ , ] if ;
 134
 135 : extended-opcode ( opcode -- opcode' )
 136     dup array? [ OCT: 17 sequences:prefix ] [ OCT: 17 swap 2array ] if ;
 137
 138 : extended-opcode, ( opcode -- ) extended-opcode opcode, ;
 139
 140 : opcode-or ( opcode mask -- opcode' )
 141     swap dup array?
 142     [ unclip-last rot bitor suffix ] [ bitor ] if ;
 143
 144 : 1-operand ( op reg,rex.w,opcode -- )
 145     #! The 'reg' is not really a register, but a value for the
 146     #! 'reg' field of the mod-r/m byte.
 147     first3 [ [ over ] dip prefix-1 ] dip opcode, swap addressing ;
 148
 149 : immediate-operand-size-bit ( imm dst reg,rex.w,opcode -- imm dst reg,rex.w,opcode )
 150     pick integer? [ first3 BIN: 1 opcode-or 3array ] when ;
 151
 152 : immediate-1 ( imm dst reg,rex.w,opcode -- )
 153     immediate-operand-size-bit 1-operand 1, ;
 154
 155 : immediate-4 ( imm dst reg,rex.w,opcode -- )
 156     immediate-operand-size-bit 1-operand 4, ;
 157
 158 : immediate-fits-in-size-bit ( imm dst reg,rex.w,opcode -- imm dst reg,rex.w,opcode )
 159     pick integer? [ first3 BIN: 10 opcode-or 3array ] when ;
 160
 161 : immediate-1/4 ( imm dst reg,rex.w,opcode -- )
 162     #! If imm is a byte, compile the opcode and the byte.
 163     #! Otherwise, set the 8-bit operand flag in the opcode, and
 164     #! compile the cell. The 'reg' is not really a register, but
 165     #! a value for the 'reg' field of the mod-r/m byte.
 166     pick fits-in-byte? [
 167         immediate-fits-in-size-bit immediate-1
 168     ] [
 169         immediate-4
 170     ] if ;
 171
 172 : (2-operand) ( dst src op -- )
 173     [ 2dup t rex-prefix ] dip opcode,
 174     reg-code swap addressing ;
 175
 176 : direction-bit ( dst src op -- dst' src' op' )
 177     pick register? pick register? not and
 178     [ BIN: 10 opcode-or swapd ] when ;
 179
 180 : operand-size-bit ( dst src op -- dst' src' op' )
 181     over register-8? [ BIN: 1 opcode-or ] unless ;
 182
 183 : 2-operand ( dst src op -- )
 184     #! Sets the opcode's direction bit. It is set if the
 185     #! destination is a direct register operand.
 186     [ drop 16-prefix ] [ direction-bit operand-size-bit (2-operand) ] 3bi ;
 187
 188 PRIVATE>
 189
 190 ! Moving stuff
 191 GENERIC: PUSH ( op -- )
 192 M: register PUSH f HEX: 50 short-operand ;
 193 M: immediate PUSH HEX: 68 , 4, ;
 194 M: operand PUSH { BIN: 110 f HEX: ff } 1-operand ;
 195
 196 GENERIC: POP ( op -- )
 197 M: register POP f HEX: 58 short-operand ;
 198 M: operand POP { BIN: 000 f HEX: 8f } 1-operand ;
 199
 200 ! MOV where the src is immediate.
 201 <PRIVATE
 202
 203 GENERIC: (MOV-I) ( src dst -- )
 204 M: register (MOV-I) t HEX: b8 short-operand cell, ;
 205 M: operand (MOV-I)
 206     { BIN: 000 t HEX: c6 }
 207     pick byte? [ immediate-1 ] [ immediate-4 ] if ;
 208
 209 PRIVATE>
 210
 211 GENERIC: MOV ( dst src -- )
 212 M: immediate MOV swap (MOV-I) ;
 213 M: operand MOV HEX: 88 2-operand ;
 214
 215 : LEA ( dst src -- ) swap HEX: 8d 2-operand ;
 216
 217 ! Control flow
 218 GENERIC: JMP ( op -- )
 219 M: integer JMP HEX: e9 , 4, ;
 220 M: operand JMP { BIN: 100 t HEX: ff } 1-operand ;
 221
 222 GENERIC: CALL ( op -- )
 223 M: integer CALL HEX: e8 , 4, ;
 224 M: operand CALL { BIN: 010 t HEX: ff } 1-operand ;
 225
 226 GENERIC# JUMPcc 1 ( addr opcode -- )
 227 M: integer JUMPcc extended-opcode, 4, ;
 228
 229 : JO  ( dst -- ) HEX: 80 JUMPcc ;
 230 : JNO ( dst -- ) HEX: 81 JUMPcc ;
 231 : JB  ( dst -- ) HEX: 82 JUMPcc ;
 232 : JAE ( dst -- ) HEX: 83 JUMPcc ;
 233 : JE  ( dst -- ) HEX: 84 JUMPcc ; ! aka JZ
 234 : JNE ( dst -- ) HEX: 85 JUMPcc ;
 235 : JBE ( dst -- ) HEX: 86 JUMPcc ;
 236 : JA  ( dst -- ) HEX: 87 JUMPcc ;
 237 : JS  ( dst -- ) HEX: 88 JUMPcc ;
 238 : JNS ( dst -- ) HEX: 89 JUMPcc ;
 239 : JP  ( dst -- ) HEX: 8a JUMPcc ;
 240 : JNP ( dst -- ) HEX: 8b JUMPcc ;
 241 : JL  ( dst -- ) HEX: 8c JUMPcc ;
 242 : JGE ( dst -- ) HEX: 8d JUMPcc ;
 243 : JLE ( dst -- ) HEX: 8e JUMPcc ;
 244 : JG  ( dst -- ) HEX: 8f JUMPcc ;
 245
 246 : LEAVE ( -- ) HEX: c9 , ;
 247
 248 : RET ( n -- )
 249     dup zero? [ drop HEX: c3 , ] [ HEX: c2 , 2, ] if ;
 250
 251 ! Arithmetic
 252
 253 GENERIC: ADD ( dst src -- )
 254 M: immediate ADD swap { BIN: 000 t HEX: 80 } immediate-1/4 ;
 255 M: operand ADD OCT: 000 2-operand ;
 256
 257 GENERIC: OR ( dst src -- )
 258 M: immediate OR swap { BIN: 001 t HEX: 80 } immediate-1/4 ;
 259 M: operand OR OCT: 010 2-operand ;
 260
 261 GENERIC: ADC ( dst src -- )
 262 M: immediate ADC swap { BIN: 010 t HEX: 80 } immediate-1/4 ;
 263 M: operand ADC OCT: 020 2-operand ;
 264
 265 GENERIC: SBB ( dst src -- )
 266 M: immediate SBB swap { BIN: 011 t HEX: 80 } immediate-1/4 ;
 267 M: operand SBB OCT: 030 2-operand ;
 268
 269 GENERIC: AND ( dst src -- )
 270 M: immediate AND swap { BIN: 100 t HEX: 80 } immediate-1/4 ;
 271 M: operand AND OCT: 040 2-operand ;
 272
 273 GENERIC: SUB ( dst src -- )
 274 M: immediate SUB swap { BIN: 101 t HEX: 80 } immediate-1/4 ;
 275 M: operand SUB OCT: 050 2-operand ;
 276
 277 GENERIC: XOR ( dst src -- )
 278 M: immediate XOR swap { BIN: 110 t HEX: 80 } immediate-1/4 ;
 279 M: operand XOR OCT: 060 2-operand ;
 280
 281 GENERIC: CMP ( dst src -- )
 282 M: immediate CMP swap { BIN: 111 t HEX: 80 } immediate-1/4 ;
 283 M: operand CMP OCT: 070 2-operand ;
 284
 285 GENERIC: TEST ( dst src -- )
 286 M: immediate TEST swap { BIN: 0 t HEX: f7 } immediate-4 ;
 287 M: operand TEST OCT: 204 2-operand ;
 288
 289 : XCHG ( dst src -- ) OCT: 207 2-operand ;
 290
 291 : BSR ( dst src -- ) swap { HEX: 0f HEX: bd } (2-operand) ;
 292
 293 : NOT  ( dst -- ) { BIN: 010 t HEX: f7 } 1-operand ;
 294 : NEG  ( dst -- ) { BIN: 011 t HEX: f7 } 1-operand ;
 295 : MUL  ( dst -- ) { BIN: 100 t HEX: f7 } 1-operand ;
 296 : IMUL ( src -- ) { BIN: 101 t HEX: f7 } 1-operand ;
 297 : DIV  ( dst -- ) { BIN: 110 t HEX: f7 } 1-operand ;
 298 : IDIV ( src -- ) { BIN: 111 t HEX: f7 } 1-operand ;
 299
 300 : CDQ ( -- ) HEX: 99 , ;
 301 : CQO ( -- ) HEX: 48 , CDQ ;
 302
 303 <PRIVATE
 304
 305 : (SHIFT) ( dst src op -- )
 306     over CL eq? [
 307         nip t HEX: d3 3array 1-operand
 308     ] [
 309         swapd t HEX: c0 3array immediate-1
 310     ] if ; inline
 311
 312 PRIVATE>
 313
 314 : ROL ( dst n -- ) BIN: 000 (SHIFT) ;
 315 : ROR ( dst n -- ) BIN: 001 (SHIFT) ;
 316 : RCL ( dst n -- ) BIN: 010 (SHIFT) ;
 317 : RCR ( dst n -- ) BIN: 011 (SHIFT) ;
 318 : SHL ( dst n -- ) BIN: 100 (SHIFT) ;
 319 : SHR ( dst n -- ) BIN: 101 (SHIFT) ;
 320 : SAR ( dst n -- ) BIN: 111 (SHIFT) ;
 321
 322 : IMUL2 ( dst src -- )
 323     OCT: 257 extended-opcode (2-operand) ;
 324
 325 : IMUL3 ( dst src imm -- )
 326     dup fits-in-byte? [
 327         [ swap HEX: 6a 2-operand ] dip 1,
 328     ] [
 329         [ swap HEX: 68 2-operand ] dip 4,
 330     ] if ;
 331
 332 : MOVSX ( dst src -- )
 333     swap
 334     over register-32? OCT: 143 OCT: 276 extended-opcode ?
 335     pick register-16? [ BIN: 1 opcode-or ] when
 336     (2-operand) ;
 337
 338 : MOVZX ( dst src -- )
 339     swap
 340     OCT: 266 extended-opcode
 341     pick register-16? [ BIN: 1 opcode-or ] when
 342     (2-operand) ;
 343
 344 ! Conditional move
 345 : MOVcc ( dst src cc -- ) extended-opcode swapd (2-operand) ;
 346
 347 : CMOVO  ( dst src -- ) HEX: 40 MOVcc ;
 348 : CMOVNO ( dst src -- ) HEX: 41 MOVcc ;
 349 : CMOVB  ( dst src -- ) HEX: 42 MOVcc ;
 350 : CMOVAE ( dst src -- ) HEX: 43 MOVcc ;
 351 : CMOVE  ( dst src -- ) HEX: 44 MOVcc ; ! aka CMOVZ
 352 : CMOVNE ( dst src -- ) HEX: 45 MOVcc ;
 353 : CMOVBE ( dst src -- ) HEX: 46 MOVcc ;
 354 : CMOVA  ( dst src -- ) HEX: 47 MOVcc ;
 355 : CMOVS  ( dst src -- ) HEX: 48 MOVcc ;
 356 : CMOVNS ( dst src -- ) HEX: 49 MOVcc ;
 357 : CMOVP  ( dst src -- ) HEX: 4a MOVcc ;
 358 : CMOVNP ( dst src -- ) HEX: 4b MOVcc ;
 359 : CMOVL  ( dst src -- ) HEX: 4c MOVcc ;
 360 : CMOVGE ( dst src -- ) HEX: 4d MOVcc ;
 361 : CMOVLE ( dst src -- ) HEX: 4e MOVcc ;
 362 : CMOVG  ( dst src -- ) HEX: 4f MOVcc ;
 363
 364 ! CPU Identification
 365
 366 : CPUID ( -- ) HEX: a2 extended-opcode, ;
 367
 368 ! Misc
 369
 370 : NOP ( -- ) HEX: 90 , ;
 371 : PAUSE ( -- ) HEX: f3 , HEX: 90 , ;
 372
 373 : RDPMC ( -- ) HEX: 0f , HEX: 33 , ;
 374
 375 ! x87 Floating Point Unit
 376
 377 : FSTPS ( operand -- ) { BIN: 011 f HEX: d9 } 1-operand ;
 378 : FSTPL ( operand -- ) { BIN: 011 f HEX: dd } 1-operand ;
 379
 380 : FLDS ( operand -- ) { BIN: 000 f HEX: d9 } 1-operand ;
 381 : FLDL ( operand -- ) { BIN: 000 f HEX: dd } 1-operand ;
 382
 383 ! SSE multimedia instructions
 384
 385 <PRIVATE
 386
 387 : direction-bit-sse ( dst src op1 -- dst' src' op1' )
 388     pick register-128? [ swapd ] [ BIN: 1 bitor ] if ;
 389
 390 : 2-operand-sse ( dst src op1 op2 -- )
 391     [ , ] when* direction-bit-sse extended-opcode (2-operand) ;
 392
 393 : direction-op-sse ( dst src op1s -- dst' src' op1' )
 394     pick register-128? [ swapd first ] [ second ] if ;
 395
 396 : 2-operand-rm-mr-sse ( dst src op1{rm,mr} op2 -- )
 397     [ , ] when* direction-op-sse extended-opcode (2-operand) ;
 398
 399 : 2-operand-rm-sse ( dst src op1 op2 -- )
 400     [ , ] when* swapd extended-opcode (2-operand) ;
 401
 402 : 2-operand-mr-sse ( dst src op1 op2 -- )
 403     [ , ] when* extended-opcode (2-operand) ;
 404
 405 : 2-operand-int/sse ( dst src op1 op2 -- )
 406     [ , ] when* swapd extended-opcode (2-operand) ;
 407
 408 : 3-operand-rm-sse ( dst src imm op1 op2 -- )
 409     rot [ 2-operand-rm-sse ] dip , ;
 410
 411 : 3-operand-mr-sse ( dst src imm op1 op2 -- )
 412     rot [ 2-operand-mr-sse ] dip , ;
 413
 414 : 3-operand-rm-mr-sse ( dst src imm op1 op2 -- )
 415     rot [ 2-operand-rm-mr-sse ] dip , ;
 416
 417 : 2-operand-sse-cmp ( dst src cmp op1 op2 -- )
 418     3-operand-rm-sse ; inline
 419
 420 : 2-operand-sse-shift ( dst imm reg op1 op2 -- )
 421     [ , ] when*
 422     [ f HEX: 0f ] dip 2array 3array
 423     swapd 1-operand , ;
 424
 425 PRIVATE>
 426
 427 : MOVUPS     ( dest src -- ) HEX: 10 f       2-operand-sse ;
 428 : MOVUPD     ( dest src -- ) HEX: 10 HEX: 66 2-operand-sse ;
 429 : MOVSD      ( dest src -- ) HEX: 10 HEX: f2 2-operand-sse ;
 430 : MOVSS      ( dest src -- ) HEX: 10 HEX: f3 2-operand-sse ;
 431 : MOVLPS     ( dest src -- ) HEX: 12 f       2-operand-sse ;
 432 : MOVLPD     ( dest src -- ) HEX: 12 HEX: 66 2-operand-sse ;
 433 : MOVDDUP    ( dest src -- ) HEX: 12 HEX: f2 2-operand-rm-sse ;
 434 : MOVSLDUP   ( dest src -- ) HEX: 12 HEX: f3 2-operand-rm-sse ;
 435 : UNPCKLPS   ( dest src -- ) HEX: 14 f       2-operand-rm-sse ;
 436 : UNPCKLPD   ( dest src -- ) HEX: 14 HEX: 66 2-operand-rm-sse ;
 437 : UNPCKHPS   ( dest src -- ) HEX: 15 f       2-operand-rm-sse ;
 438 : UNPCKHPD   ( dest src -- ) HEX: 15 HEX: 66 2-operand-rm-sse ;
 439 : MOVHPS     ( dest src -- ) HEX: 16 f       2-operand-sse ;
 440 : MOVHPD     ( dest src -- ) HEX: 16 HEX: 66 2-operand-sse ;
 441 : MOVSHDUP   ( dest src -- ) HEX: 16 HEX: f3 2-operand-rm-sse ;
 442
 443 ALIAS: MOVHLPS MOVLPS
 444 ALIAS: MOVLHPS MOVHPS
 445
 446 : PREFETCHNTA ( mem -- )  { BIN: 000 f { HEX: 0f HEX: 18 } } 1-operand ;
 447 : PREFETCHT0  ( mem -- )  { BIN: 001 f { HEX: 0f HEX: 18 } } 1-operand ;
 448 : PREFETCHT1  ( mem -- )  { BIN: 010 f { HEX: 0f HEX: 18 } } 1-operand ;
 449 : PREFETCHT2  ( mem -- )  { BIN: 011 f { HEX: 0f HEX: 18 } } 1-operand ;
 450
 451 : MOVAPS     ( dest src -- ) HEX: 28 f       2-operand-sse ;
 452 : MOVAPD     ( dest src -- ) HEX: 28 HEX: 66 2-operand-sse ;
 453 : CVTSI2SD   ( dest src -- ) HEX: 2a HEX: f2 2-operand-int/sse ;
 454 : CVTSI2SS   ( dest src -- ) HEX: 2a HEX: f3 2-operand-int/sse ;
 455 : MOVNTPS    ( dest src -- ) HEX: 2b f       2-operand-mr-sse ;
 456 : MOVNTPD    ( dest src -- ) HEX: 2b HEX: 66 2-operand-mr-sse ;
 457 : CVTTSD2SI  ( dest src -- ) HEX: 2c HEX: f2 2-operand-int/sse ;
 458 : CVTTSS2SI  ( dest src -- ) HEX: 2c HEX: f3 2-operand-int/sse ;
 459 : CVTSD2SI   ( dest src -- ) HEX: 2d HEX: f2 2-operand-int/sse ;
 460 : CVTSS2SI   ( dest src -- ) HEX: 2d HEX: f3 2-operand-int/sse ;
 461 : UCOMISS    ( dest src -- ) HEX: 2e f       2-operand-rm-sse ;
 462 : UCOMISD    ( dest src -- ) HEX: 2e HEX: 66 2-operand-rm-sse ;
 463 : COMISS     ( dest src -- ) HEX: 2f f       2-operand-rm-sse ;
 464 : COMISD     ( dest src -- ) HEX: 2f HEX: 66 2-operand-rm-sse ;
 465
 466 : PSHUFB     ( dest src -- ) { HEX: 38 HEX: 00 } HEX: 66 2-operand-rm-sse ;
 467 : PHADDW     ( dest src -- ) { HEX: 38 HEX: 01 } HEX: 66 2-operand-rm-sse ;
 468 : PHADDD     ( dest src -- ) { HEX: 38 HEX: 02 } HEX: 66 2-operand-rm-sse ;
 469 : PHADDSW    ( dest src -- ) { HEX: 38 HEX: 03 } HEX: 66 2-operand-rm-sse ;
 470 : PMADDUBSW  ( dest src -- ) { HEX: 38 HEX: 04 } HEX: 66 2-operand-rm-sse ;
 471 : PHSUBW     ( dest src -- ) { HEX: 38 HEX: 05 } HEX: 66 2-operand-rm-sse ;
 472 : PHSUBD     ( dest src -- ) { HEX: 38 HEX: 06 } HEX: 66 2-operand-rm-sse ;
 473 : PHSUBSW    ( dest src -- ) { HEX: 38 HEX: 07 } HEX: 66 2-operand-rm-sse ;
 474 : PSIGNB     ( dest src -- ) { HEX: 38 HEX: 08 } HEX: 66 2-operand-rm-sse ;
 475 : PSIGNW     ( dest src -- ) { HEX: 38 HEX: 09 } HEX: 66 2-operand-rm-sse ;
 476 : PSIGND     ( dest src -- ) { HEX: 38 HEX: 0a } HEX: 66 2-operand-rm-sse ;
 477 : PMULHRSW   ( dest src -- ) { HEX: 38 HEX: 0b } HEX: 66 2-operand-rm-sse ;
 478 : PBLENDVB   ( dest src -- ) { HEX: 38 HEX: 10 } HEX: 66 2-operand-rm-sse ;
 479 : BLENDVPS   ( dest src -- ) { HEX: 38 HEX: 14 } HEX: 66 2-operand-rm-sse ;
 480 : BLENDVPD   ( dest src -- ) { HEX: 38 HEX: 15 } HEX: 66 2-operand-rm-sse ;
 481 : PTEST      ( dest src -- ) { HEX: 38 HEX: 17 } HEX: 66 2-operand-rm-sse ;
 482 : PABSB      ( dest src -- ) { HEX: 38 HEX: 1c } HEX: 66 2-operand-rm-sse ;
 483 : PABSW      ( dest src -- ) { HEX: 38 HEX: 1d } HEX: 66 2-operand-rm-sse ;
 484 : PABSD      ( dest src -- ) { HEX: 38 HEX: 1e } HEX: 66 2-operand-rm-sse ;
 485 : PMOVSXBW   ( dest src -- ) { HEX: 38 HEX: 20 } HEX: 66 2-operand-rm-sse ;
 486 : PMOVSXBD   ( dest src -- ) { HEX: 38 HEX: 21 } HEX: 66 2-operand-rm-sse ;
 487 : PMOVSXBQ   ( dest src -- ) { HEX: 38 HEX: 22 } HEX: 66 2-operand-rm-sse ;
 488 : PMOVSXWD   ( dest src -- ) { HEX: 38 HEX: 23 } HEX: 66 2-operand-rm-sse ;
 489 : PMOVSXWQ   ( dest src -- ) { HEX: 38 HEX: 24 } HEX: 66 2-operand-rm-sse ;
 490 : PMOVSXDQ   ( dest src -- ) { HEX: 38 HEX: 25 } HEX: 66 2-operand-rm-sse ;
 491 : PMULDQ     ( dest src -- ) { HEX: 38 HEX: 28 } HEX: 66 2-operand-rm-sse ;
 492 : PCMPEQQ    ( dest src -- ) { HEX: 38 HEX: 29 } HEX: 66 2-operand-rm-sse ;
 493 : MOVNTDQA   ( dest src -- ) { HEX: 38 HEX: 2a } HEX: 66 2-operand-rm-sse ;
 494 : PACKUSDW   ( dest src -- ) { HEX: 38 HEX: 2b } HEX: 66 2-operand-rm-sse ;
 495 : PMOVZXBW   ( dest src -- ) { HEX: 38 HEX: 30 } HEX: 66 2-operand-rm-sse ;
 496 : PMOVZXBD   ( dest src -- ) { HEX: 38 HEX: 31 } HEX: 66 2-operand-rm-sse ;
 497 : PMOVZXBQ   ( dest src -- ) { HEX: 38 HEX: 32 } HEX: 66 2-operand-rm-sse ;
 498 : PMOVZXWD   ( dest src -- ) { HEX: 38 HEX: 33 } HEX: 66 2-operand-rm-sse ;
 499 : PMOVZXWQ   ( dest src -- ) { HEX: 38 HEX: 34 } HEX: 66 2-operand-rm-sse ;
 500 : PMOVZXDQ   ( dest src -- ) { HEX: 38 HEX: 35 } HEX: 66 2-operand-rm-sse ;
 501 : PCMPGTQ    ( dest src -- ) { HEX: 38 HEX: 37 } HEX: 66 2-operand-rm-sse ;
 502 : PMINSB     ( dest src -- ) { HEX: 38 HEX: 38 } HEX: 66 2-operand-rm-sse ;
 503 : PMINSD     ( dest src -- ) { HEX: 38 HEX: 39 } HEX: 66 2-operand-rm-sse ;
 504 : PMINUW     ( dest src -- ) { HEX: 38 HEX: 3a } HEX: 66 2-operand-rm-sse ;
 505 : PMINUD     ( dest src -- ) { HEX: 38 HEX: 3b } HEX: 66 2-operand-rm-sse ;
 506 : PMAXSB     ( dest src -- ) { HEX: 38 HEX: 3c } HEX: 66 2-operand-rm-sse ;
 507 : PMAXSD     ( dest src -- ) { HEX: 38 HEX: 3d } HEX: 66 2-operand-rm-sse ;
 508 : PMAXUW     ( dest src -- ) { HEX: 38 HEX: 3e } HEX: 66 2-operand-rm-sse ;
 509 : PMAXUD     ( dest src -- ) { HEX: 38 HEX: 3f } HEX: 66 2-operand-rm-sse ;
 510 : PMULLD     ( dest src -- ) { HEX: 38 HEX: 40 } HEX: 66 2-operand-rm-sse ;
 511 : PHMINPOSUW ( dest src -- ) { HEX: 38 HEX: 41 } HEX: 66 2-operand-rm-sse ;
 512 : CRC32B     ( dest src -- ) { HEX: 38 HEX: f0 } HEX: f2 2-operand-rm-sse ;
 513 : CRC32      ( dest src -- ) { HEX: 38 HEX: f1 } HEX: f2 2-operand-rm-sse ;
 514
 515 : ROUNDPS    ( dest src imm -- ) { HEX: 3a HEX: 08 } HEX: 66 3-operand-rm-sse ;
 516 : ROUNDPD    ( dest src imm -- ) { HEX: 3a HEX: 09 } HEX: 66 3-operand-rm-sse ;
 517 : ROUNDSS    ( dest src imm -- ) { HEX: 3a HEX: 0a } HEX: 66 3-operand-rm-sse ;
 518 : ROUNDSD    ( dest src imm -- ) { HEX: 3a HEX: 0b } HEX: 66 3-operand-rm-sse ;
 519 : BLENDPS    ( dest src imm -- ) { HEX: 3a HEX: 0c } HEX: 66 3-operand-rm-sse ;
 520 : BLENDPD    ( dest src imm -- ) { HEX: 3a HEX: 0d } HEX: 66 3-operand-rm-sse ;
 521 : PBLENDW    ( dest src imm -- ) { HEX: 3a HEX: 0e } HEX: 66 3-operand-rm-sse ;
 522 : PALIGNR    ( dest src imm -- ) { HEX: 3a HEX: 0f } HEX: 66 3-operand-rm-sse ;
 523
 524 : PEXTRB     ( dest src imm -- ) { HEX: 3a HEX: 14 } HEX: 66 3-operand-mr-sse ;
 525
 526 <PRIVATE
 527 : (PEXTRW-sse1) ( dest src imm -- ) HEX: c5 HEX: 66 3-operand-rm-sse ;
 528 : (PEXTRW-sse4) ( dest src imm -- ) { HEX: 3a HEX: 15 } HEX: 66 3-operand-mr-sse ;
 529 PRIVATE>
 530
 531 : PEXTRW     ( dest src imm -- ) pick indirect? [ (PEXTRW-sse4) ] [ (PEXTRW-sse1) ] if ;
 532 : PEXTRD     ( dest src imm -- ) { HEX: 3a HEX: 16 } HEX: 66 3-operand-mr-sse ;
 533 ALIAS: PEXTRQ PEXTRD
 534 : EXTRACTPS  ( dest src imm -- ) { HEX: 3a HEX: 17 } HEX: 66 3-operand-mr-sse ;
 535
 536 : PINSRB     ( dest src imm -- ) { HEX: 3a HEX: 20 } HEX: 66 3-operand-rm-sse ;
 537 : INSERTPS   ( dest src imm -- ) { HEX: 3a HEX: 21 } HEX: 66 3-operand-rm-sse ;
 538 : PINSRD     ( dest src imm -- ) { HEX: 3a HEX: 22 } HEX: 66 3-operand-rm-sse ;
 539 ALIAS: PINSRQ PINSRD
 540 : DPPS       ( dest src imm -- ) { HEX: 3a HEX: 40 } HEX: 66 3-operand-rm-sse ;
 541 : DPPD       ( dest src imm -- ) { HEX: 3a HEX: 41 } HEX: 66 3-operand-rm-sse ;
 542 : MPSADBW    ( dest src imm -- ) { HEX: 3a HEX: 42 } HEX: 66 3-operand-rm-sse ;
 543 : PCMPESTRM  ( dest src imm -- ) { HEX: 3a HEX: 60 } HEX: 66 3-operand-rm-sse ;
 544 : PCMPESTRI  ( dest src imm -- ) { HEX: 3a HEX: 61 } HEX: 66 3-operand-rm-sse ;
 545 : PCMPISTRM  ( dest src imm -- ) { HEX: 3a HEX: 62 } HEX: 66 3-operand-rm-sse ;
 546 : PCMPISTRI  ( dest src imm -- ) { HEX: 3a HEX: 63 } HEX: 66 3-operand-rm-sse ;
 547
 548 : MOVMSKPS   ( dest src -- ) HEX: 50 f       2-operand-int/sse ;
 549 : MOVMSKPD   ( dest src -- ) HEX: 50 HEX: 66 2-operand-int/sse ;
 550 : SQRTPS     ( dest src -- ) HEX: 51 f       2-operand-rm-sse ;
 551 : SQRTPD     ( dest src -- ) HEX: 51 HEX: 66 2-operand-rm-sse ;
 552 : SQRTSD     ( dest src -- ) HEX: 51 HEX: f2 2-operand-rm-sse ;
 553 : SQRTSS     ( dest src -- ) HEX: 51 HEX: f3 2-operand-rm-sse ;
 554 : RSQRTPS    ( dest src -- ) HEX: 52 f       2-operand-rm-sse ;
 555 : RSQRTSS    ( dest src -- ) HEX: 52 HEX: f3 2-operand-rm-sse ;
 556 : RCPPS      ( dest src -- ) HEX: 53 f       2-operand-rm-sse ;
 557 : RCPSS      ( dest src -- ) HEX: 53 HEX: f3 2-operand-rm-sse ;
 558 : ANDPS      ( dest src -- ) HEX: 54 f       2-operand-rm-sse ;
 559 : ANDPD      ( dest src -- ) HEX: 54 HEX: 66 2-operand-rm-sse ;
 560 : ANDNPS     ( dest src -- ) HEX: 55 f       2-operand-rm-sse ;
 561 : ANDNPD     ( dest src -- ) HEX: 55 HEX: 66 2-operand-rm-sse ;
 562 : ORPS       ( dest src -- ) HEX: 56 f       2-operand-rm-sse ;
 563 : ORPD       ( dest src -- ) HEX: 56 HEX: 66 2-operand-rm-sse ;
 564 : XORPS      ( dest src -- ) HEX: 57 f       2-operand-rm-sse ;
 565 : XORPD      ( dest src -- ) HEX: 57 HEX: 66 2-operand-rm-sse ;
 566 : ADDPS      ( dest src -- ) HEX: 58 f       2-operand-rm-sse ;
 567 : ADDPD      ( dest src -- ) HEX: 58 HEX: 66 2-operand-rm-sse ;
 568 : ADDSD      ( dest src -- ) HEX: 58 HEX: f2 2-operand-rm-sse ;
 569 : ADDSS      ( dest src -- ) HEX: 58 HEX: f3 2-operand-rm-sse ;
 570 : MULPS      ( dest src -- ) HEX: 59 f       2-operand-rm-sse ;
 571 : MULPD      ( dest src -- ) HEX: 59 HEX: 66 2-operand-rm-sse ;
 572 : MULSD      ( dest src -- ) HEX: 59 HEX: f2 2-operand-rm-sse ;
 573 : MULSS      ( dest src -- ) HEX: 59 HEX: f3 2-operand-rm-sse ;
 574 : CVTPS2PD   ( dest src -- ) HEX: 5a f       2-operand-rm-sse ;
 575 : CVTPD2PS   ( dest src -- ) HEX: 5a HEX: 66 2-operand-rm-sse ;
 576 : CVTSD2SS   ( dest src -- ) HEX: 5a HEX: f2 2-operand-rm-sse ;
 577 : CVTSS2SD   ( dest src -- ) HEX: 5a HEX: f3 2-operand-rm-sse ;
 578 : CVTDQ2PS   ( dest src -- ) HEX: 5b f       2-operand-rm-sse ;
 579 : CVTPS2DQ   ( dest src -- ) HEX: 5b HEX: 66 2-operand-rm-sse ;
 580 : CVTTPS2DQ  ( dest src -- ) HEX: 5b HEX: f3 2-operand-rm-sse ;
 581 : SUBPS      ( dest src -- ) HEX: 5c f       2-operand-rm-sse ;
 582 : SUBPD      ( dest src -- ) HEX: 5c HEX: 66 2-operand-rm-sse ;
 583 : SUBSD      ( dest src -- ) HEX: 5c HEX: f2 2-operand-rm-sse ;
 584 : SUBSS      ( dest src -- ) HEX: 5c HEX: f3 2-operand-rm-sse ;
 585 : MINPS      ( dest src -- ) HEX: 5d f       2-operand-rm-sse ;
 586 : MINPD      ( dest src -- ) HEX: 5d HEX: 66 2-operand-rm-sse ;
 587 : MINSD      ( dest src -- ) HEX: 5d HEX: f2 2-operand-rm-sse ;
 588 : MINSS      ( dest src -- ) HEX: 5d HEX: f3 2-operand-rm-sse ;
 589 : DIVPS      ( dest src -- ) HEX: 5e f       2-operand-rm-sse ;
 590 : DIVPD      ( dest src -- ) HEX: 5e HEX: 66 2-operand-rm-sse ;
 591 : DIVSD      ( dest src -- ) HEX: 5e HEX: f2 2-operand-rm-sse ;
 592 : DIVSS      ( dest src -- ) HEX: 5e HEX: f3 2-operand-rm-sse ;
 593 : MAXPS      ( dest src -- ) HEX: 5f f       2-operand-rm-sse ;
 594 : MAXPD      ( dest src -- ) HEX: 5f HEX: 66 2-operand-rm-sse ;
 595 : MAXSD      ( dest src -- ) HEX: 5f HEX: f2 2-operand-rm-sse ;
 596 : MAXSS      ( dest src -- ) HEX: 5f HEX: f3 2-operand-rm-sse ;
 597 : PUNPCKLBW  ( dest src -- ) HEX: 60 HEX: 66 2-operand-rm-sse ;
 598 : PUNPCKLWD  ( dest src -- ) HEX: 61 HEX: 66 2-operand-rm-sse ;
 599 : PUNPCKLDQ  ( dest src -- ) HEX: 62 HEX: 66 2-operand-rm-sse ;
 600 : PACKSSWB   ( dest src -- ) HEX: 63 HEX: 66 2-operand-rm-sse ;
 601 : PCMPGTB    ( dest src -- ) HEX: 64 HEX: 66 2-operand-rm-sse ;
 602 : PCMPGTW    ( dest src -- ) HEX: 65 HEX: 66 2-operand-rm-sse ;
 603 : PCMPGTD    ( dest src -- ) HEX: 66 HEX: 66 2-operand-rm-sse ;
 604 : PACKUSWB   ( dest src -- ) HEX: 67 HEX: 66 2-operand-rm-sse ;
 605 : PUNPCKHBW  ( dest src -- ) HEX: 68 HEX: 66 2-operand-rm-sse ;
 606 : PUNPCKHWD  ( dest src -- ) HEX: 69 HEX: 66 2-operand-rm-sse ;
 607 : PUNPCKHDQ  ( dest src -- ) HEX: 6a HEX: 66 2-operand-rm-sse ;
 608 : PACKSSDW   ( dest src -- ) HEX: 6b HEX: 66 2-operand-rm-sse ;
 609 : PUNPCKLQDQ ( dest src -- ) HEX: 6c HEX: 66 2-operand-rm-sse ;
 610 : PUNPCKHQDQ ( dest src -- ) HEX: 6d HEX: 66 2-operand-rm-sse ;
 611
 612 : MOVD       ( dest src -- ) { HEX: 6e HEX: 7e } HEX: 66 2-operand-rm-mr-sse ;
 613 : MOVDQA     ( dest src -- ) { HEX: 6f HEX: 7f } HEX: 66 2-operand-rm-mr-sse ;
 614 : MOVDQU     ( dest src -- ) { HEX: 6f HEX: 7f } HEX: f3 2-operand-rm-mr-sse ;
 615
 616 : PSHUFD     ( dest src imm -- ) HEX: 70 HEX: 66 3-operand-rm-sse ;
 617 : PSHUFLW    ( dest src imm -- ) HEX: 70 HEX: f2 3-operand-rm-sse ;
 618 : PSHUFHW    ( dest src imm -- ) HEX: 70 HEX: f3 3-operand-rm-sse ;
 619
 620 <PRIVATE
 621
 622 : (PSRLW-imm) ( dest imm -- ) BIN: 010 HEX: 71 HEX: 66 2-operand-sse-shift ;
 623 : (PSRAW-imm) ( dest imm -- ) BIN: 100 HEX: 71 HEX: 66 2-operand-sse-shift ;
 624 : (PSLLW-imm) ( dest imm -- ) BIN: 110 HEX: 71 HEX: 66 2-operand-sse-shift ;
 625 : (PSRLD-imm) ( dest imm -- ) BIN: 010 HEX: 72 HEX: 66 2-operand-sse-shift ;
 626 : (PSRAD-imm) ( dest imm -- ) BIN: 100 HEX: 72 HEX: 66 2-operand-sse-shift ;
 627 : (PSLLD-imm) ( dest imm -- ) BIN: 110 HEX: 72 HEX: 66 2-operand-sse-shift ;
 628 : (PSRLQ-imm) ( dest imm -- ) BIN: 010 HEX: 73 HEX: 66 2-operand-sse-shift ;
 629 : (PSLLQ-imm) ( dest imm -- ) BIN: 110 HEX: 73 HEX: 66 2-operand-sse-shift ;
 630
 631 : (PSRLW-reg) ( dest src -- ) HEX: d1 HEX: 66 2-operand-rm-sse ;
 632 : (PSRLD-reg) ( dest src -- ) HEX: d2 HEX: 66 2-operand-rm-sse ;
 633 : (PSRLQ-reg) ( dest src -- ) HEX: d3 HEX: 66 2-operand-rm-sse ;
 634 : (PSRAW-reg) ( dest src -- ) HEX: e1 HEX: 66 2-operand-rm-sse ;
 635 : (PSRAD-reg) ( dest src -- ) HEX: e2 HEX: 66 2-operand-rm-sse ;
 636 : (PSLLW-reg) ( dest src -- ) HEX: f1 HEX: 66 2-operand-rm-sse ;
 637 : (PSLLD-reg) ( dest src -- ) HEX: f2 HEX: 66 2-operand-rm-sse ;
 638 : (PSLLQ-reg) ( dest src -- ) HEX: f3 HEX: 66 2-operand-rm-sse ;
 639
 640 PRIVATE>
 641
 642 : PSRLW ( dest src -- ) dup integer? [ (PSRLW-imm) ] [ (PSRLW-reg) ] if ;
 643 : PSRAW ( dest src -- ) dup integer? [ (PSRAW-imm) ] [ (PSRAW-reg) ] if ;
 644 : PSLLW ( dest src -- ) dup integer? [ (PSLLW-imm) ] [ (PSLLW-reg) ] if ;
 645 : PSRLD ( dest src -- ) dup integer? [ (PSRLD-imm) ] [ (PSRLD-reg) ] if ;
 646 : PSRAD ( dest src -- ) dup integer? [ (PSRAD-imm) ] [ (PSRAD-reg) ] if ;
 647 : PSLLD ( dest src -- ) dup integer? [ (PSLLD-imm) ] [ (PSLLD-reg) ] if ;
 648 : PSRLQ ( dest src -- ) dup integer? [ (PSRLQ-imm) ] [ (PSRLQ-reg) ] if ;
 649 : PSLLQ ( dest src -- ) dup integer? [ (PSLLQ-imm) ] [ (PSLLQ-reg) ] if ;
 650
 651 : PSRLDQ     ( dest imm -- ) BIN: 011 HEX: 73 HEX: 66 2-operand-sse-shift ;
 652 : PSLLDQ     ( dest imm -- ) BIN: 111 HEX: 73 HEX: 66 2-operand-sse-shift ;
 653
 654 : PCMPEQB    ( dest src -- ) HEX: 74 HEX: 66 2-operand-rm-sse ;
 655 : PCMPEQW    ( dest src -- ) HEX: 75 HEX: 66 2-operand-rm-sse ;
 656 : PCMPEQD    ( dest src -- ) HEX: 76 HEX: 66 2-operand-rm-sse ;
 657 : HADDPD     ( dest src -- ) HEX: 7c HEX: 66 2-operand-rm-sse ;
 658 : HADDPS     ( dest src -- ) HEX: 7c HEX: f2 2-operand-rm-sse ;
 659 : HSUBPD     ( dest src -- ) HEX: 7d HEX: 66 2-operand-rm-sse ;
 660 : HSUBPS     ( dest src -- ) HEX: 7d HEX: f2 2-operand-rm-sse ;
 661
 662 : FXSAVE     ( dest -- ) { BIN: 000 f { HEX: 0f HEX: ae } } 1-operand ;
 663 : FXRSTOR    ( src -- )  { BIN: 001 f { HEX: 0f HEX: ae } } 1-operand ;
 664 : LDMXCSR    ( src -- )  { BIN: 010 f { HEX: 0f HEX: ae } } 1-operand ;
 665 : STMXCSR    ( dest -- ) { BIN: 011 f { HEX: 0f HEX: ae } } 1-operand ;
 666 : LFENCE     ( -- ) HEX: 0f , HEX: ae , OCT: 350 , ;
 667 : MFENCE     ( -- ) HEX: 0f , HEX: ae , OCT: 360 , ;
 668 : SFENCE     ( -- ) HEX: 0f , HEX: ae , OCT: 370 , ;
 669 : CLFLUSH    ( dest -- ) { BIN: 111 f { HEX: 0f HEX: ae } } 1-operand ;
 670
 671 : POPCNT     ( dest src -- ) HEX: b8 HEX: f3 2-operand-rm-sse ;
 672
 673 : CMPEQPS    ( dest src -- ) 0 HEX: c2 f       2-operand-sse-cmp ;
 674 : CMPLTPS    ( dest src -- ) 1 HEX: c2 f       2-operand-sse-cmp ;
 675 : CMPLEPS    ( dest src -- ) 2 HEX: c2 f       2-operand-sse-cmp ;
 676 : CMPUNORDPS ( dest src -- ) 3 HEX: c2 f       2-operand-sse-cmp ;
 677 : CMPNEQPS   ( dest src -- ) 4 HEX: c2 f       2-operand-sse-cmp ;
 678 : CMPNLTPS   ( dest src -- ) 5 HEX: c2 f       2-operand-sse-cmp ;
 679 : CMPNLEPS   ( dest src -- ) 6 HEX: c2 f       2-operand-sse-cmp ;
 680 : CMPORDPS   ( dest src -- ) 7 HEX: c2 f       2-operand-sse-cmp ;
 681
 682 : CMPEQPD    ( dest src -- ) 0 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 683 : CMPLTPD    ( dest src -- ) 1 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 684 : CMPLEPD    ( dest src -- ) 2 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 685 : CMPUNORDPD ( dest src -- ) 3 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 686 : CMPNEQPD   ( dest src -- ) 4 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 687 : CMPNLTPD   ( dest src -- ) 5 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 688 : CMPNLEPD   ( dest src -- ) 6 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 689 : CMPORDPD   ( dest src -- ) 7 HEX: c2 HEX: 66 2-operand-sse-cmp ;
 690
 691 : CMPEQSD    ( dest src -- ) 0 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 692 : CMPLTSD    ( dest src -- ) 1 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 693 : CMPLESD    ( dest src -- ) 2 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 694 : CMPUNORDSD ( dest src -- ) 3 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 695 : CMPNEQSD   ( dest src -- ) 4 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 696 : CMPNLTSD   ( dest src -- ) 5 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 697 : CMPNLESD   ( dest src -- ) 6 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 698 : CMPORDSD   ( dest src -- ) 7 HEX: c2 HEX: f2 2-operand-sse-cmp ;
 699
 700 : CMPEQSS    ( dest src -- ) 0 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 701 : CMPLTSS    ( dest src -- ) 1 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 702 : CMPLESS    ( dest src -- ) 2 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 703 : CMPUNORDSS ( dest src -- ) 3 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 704 : CMPNEQSS   ( dest src -- ) 4 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 705 : CMPNLTSS   ( dest src -- ) 5 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 706 : CMPNLESS   ( dest src -- ) 6 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 707 : CMPORDSS   ( dest src -- ) 7 HEX: c2 HEX: f3 2-operand-sse-cmp ;
 708
 709 : MOVNTI     ( dest src -- ) { HEX: 0f HEX: c3 } (2-operand) ;
 710
 711 : PINSRW     ( dest src imm -- ) HEX: c4 HEX: 66 3-operand-rm-sse ;
 712 : SHUFPS     ( dest src imm -- ) HEX: c6 f       3-operand-rm-sse ;
 713 : SHUFPD     ( dest src imm -- ) HEX: c6 HEX: 66 3-operand-rm-sse ;
 714
 715 : ADDSUBPD   ( dest src -- ) HEX: d0 HEX: 66 2-operand-rm-sse ;
 716 : ADDSUBPS   ( dest src -- ) HEX: d0 HEX: f2 2-operand-rm-sse ;
 717 : PADDQ      ( dest src -- ) HEX: d4 HEX: 66 2-operand-rm-sse ;
 718 : PMULLW     ( dest src -- ) HEX: d5 HEX: 66 2-operand-rm-sse ;
 719 : PMOVMSKB   ( dest src -- ) HEX: d7 HEX: 66 2-operand-rm-sse ;
 720 : PSUBUSB    ( dest src -- ) HEX: d8 HEX: 66 2-operand-rm-sse ;
 721 : PSUBUSW    ( dest src -- ) HEX: d9 HEX: 66 2-operand-rm-sse ;
 722 : PMINUB     ( dest src -- ) HEX: da HEX: 66 2-operand-rm-sse ;
 723 : PAND       ( dest src -- ) HEX: db HEX: 66 2-operand-rm-sse ;
 724 : PADDUSB    ( dest src -- ) HEX: dc HEX: 66 2-operand-rm-sse ;
 725 : PADDUSW    ( dest src -- ) HEX: dd HEX: 66 2-operand-rm-sse ;
 726 : PMAXUB     ( dest src -- ) HEX: de HEX: 66 2-operand-rm-sse ;
 727 : PANDN      ( dest src -- ) HEX: df HEX: 66 2-operand-rm-sse ;
 728 : PAVGB      ( dest src -- ) HEX: e0 HEX: 66 2-operand-rm-sse ;
 729 : PAVGW      ( dest src -- ) HEX: e3 HEX: 66 2-operand-rm-sse ;
 730 : PMULHUW    ( dest src -- ) HEX: e4 HEX: 66 2-operand-rm-sse ;
 731 : PMULHW     ( dest src -- ) HEX: e5 HEX: 66 2-operand-rm-sse ;
 732 : CVTTPD2DQ  ( dest src -- ) HEX: e6 HEX: 66 2-operand-rm-sse ;
 733 : CVTPD2DQ   ( dest src -- ) HEX: e6 HEX: f2 2-operand-rm-sse ;
 734 : CVTDQ2PD   ( dest src -- ) HEX: e6 HEX: f3 2-operand-rm-sse ;
 735
 736 : MOVNTDQ    ( dest src -- ) HEX: e7 HEX: 66 2-operand-mr-sse ;
 737
 738 : PSUBSB     ( dest src -- ) HEX: e8 HEX: 66 2-operand-rm-sse ;
 739 : PSUBSW     ( dest src -- ) HEX: e9 HEX: 66 2-operand-rm-sse ;
 740 : PMINSW     ( dest src -- ) HEX: ea HEX: 66 2-operand-rm-sse ;
 741 : POR        ( dest src -- ) HEX: eb HEX: 66 2-operand-rm-sse ;
 742 : PADDSB     ( dest src -- ) HEX: ec HEX: 66 2-operand-rm-sse ;
 743 : PADDSW     ( dest src -- ) HEX: ed HEX: 66 2-operand-rm-sse ;
 744 : PMAXSW     ( dest src -- ) HEX: ee HEX: 66 2-operand-rm-sse ;
 745 : PXOR       ( dest src -- ) HEX: ef HEX: 66 2-operand-rm-sse ;
 746 : LDDQU      ( dest src -- ) HEX: f0 HEX: f2 2-operand-rm-sse ;
 747 : PMULUDQ    ( dest src -- ) HEX: f4 HEX: 66 2-operand-rm-sse ;
 748 : PMADDWD    ( dest src -- ) HEX: f5 HEX: 66 2-operand-rm-sse ;
 749 : PSADBW     ( dest src -- ) HEX: f6 HEX: 66 2-operand-rm-sse ;
 750 : MASKMOVDQU ( dest src -- ) HEX: f7 HEX: 66 2-operand-rm-sse ;
 751 : PSUBB      ( dest src -- ) HEX: f8 HEX: 66 2-operand-rm-sse ;
 752 : PSUBW      ( dest src -- ) HEX: f9 HEX: 66 2-operand-rm-sse ;
 753 : PSUBD      ( dest src -- ) HEX: fa HEX: 66 2-operand-rm-sse ;
 754 : PSUBQ      ( dest src -- ) HEX: fb HEX: 66 2-operand-rm-sse ;
 755 : PADDB      ( dest src -- ) HEX: fc HEX: 66 2-operand-rm-sse ;
 756 : PADDW      ( dest src -- ) HEX: fd HEX: 66 2-operand-rm-sse ;
 757 : PADDD      ( dest src -- ) HEX: fe HEX: 66 2-operand-rm-sse ;
 758
 759 ! x86-64 branch prediction hints
 760
 761 : HWNT ( -- ) HEX: 2e , ; ! Hint branch Weakly Not Taken
 762 : HST  ( -- ) HEX: 3e , ; ! Hint branch Strongly Taken
 763