1 ! Copyright (C) 2005, 2010 Slava Pestov, Joe Groff.
2 ! See http://factorcode.org/license.txt for BSD license.
3 USING: arrays io.binary kernel combinators
4 combinators.short-circuit math math.bitwise locals namespaces
5 make sequences words system layouts math.order accessors
6 cpu.x86.assembler.operands cpu.x86.assembler.operands.private ;
9 ! A postfix assembler for x86-32 and x86-64.
13 : reg-code ( reg -- n ) "register" word-prop 7 bitand ;
15 : indirect-base* ( op -- n ) base>> EBP or reg-code ;
17 : indirect-index* ( op -- n ) index>> ESP or reg-code ;
19 : indirect-scale* ( op -- n ) scale>> 0 or ;
21 GENERIC: sib-present? ( op -- ? )
23 M: indirect sib-present?
25 [ base>> { ESP RSP R12 } member? ]
30 M: register sib-present? drop f ;
32 GENERIC: r/m ( operand -- n )
36 [ drop ESP reg-code ] [ indirect-base* ] if ;
38 M: register r/m reg-code ;
41 UNION: immediate byte integer ;
43 GENERIC: fits-in-byte? ( value -- ? )
45 M: byte fits-in-byte? drop t ;
47 M: integer fits-in-byte? -128 127 between? ;
49 GENERIC: modifier ( op -- n )
54 { [ dup not ] [ 0b00 ] }
55 { [ dup fits-in-byte? ] [ 0b01 ] }
56 { [ dup immediate? ] [ 0b10 ] }
62 M: register modifier drop 0b11 ;
64 GENERIC#: n, 1 ( value n -- )
67 M: byte n, [ value>> ] dip n, ;
68 : 1, ( n -- ) 1 n, ; inline
69 : 4, ( n -- ) 4 n, ; inline
70 : 2, ( n -- ) 2 n, ; inline
71 : cell, ( n -- ) bootstrap-cell n, ; inline
73 : mod-r/m, ( reg operand -- )
74 [ 3 shift ] [ [ modifier 6 shift ] [ r/m ] bi ] bi* bitor bitor , ;
79 [ indirect-index* 3 shift ]
80 [ indirect-scale* 6 shift ] tri bitor bitor ,
85 GENERIC: displacement, ( op -- )
87 M: indirect displacement,
88 dup displacement>> dup [
90 [ dup fits-in-byte? [ , ] [ 4, ] if ] [ 4, ] if
93 M: register displacement, drop ;
95 : addressing ( reg operand -- )
96 [ mod-r/m, ] [ sib, ] [ displacement, ] tri ;
98 : rex.w? ( rex.w reg r/m -- ? )
100 { [ over register-128? ] [ nip operand-64? ] }
101 { [ over not ] [ nip operand-64? ] }
105 : rex.r ( m op -- n )
106 extended? [ 0b00000100 bitor ] when ;
108 : rex.b ( m op -- n )
109 [ extended? [ 0b00000001 bitor ] when ] keep
110 dup indirect? [ index>> extended? [ 0b00000010 bitor ] when ] [ drop ] if ;
112 : no-prefix? ( prefix reg r/m -- ? )
114 [ extended-8-bit-register? not ]
115 [ extended-8-bit-register? not ] tri*
118 :: rex-prefix ( reg r/m rex.w -- )
119 ! Compile an AMD64 REX prefix.
120 rex.w reg r/m rex.w? 0b01001000 0b01000000 ?
123 dup reg r/m no-prefix? [ drop ] [ , ] if ;
125 : 16-prefix ( reg -- )
126 register-16? [ 0x66 , ] when ;
128 : prefix-1 ( reg rex.w -- )
129 [ drop 16-prefix ] [ [ f ] 2dip rex-prefix ] 2bi ;
131 : short-operand ( reg rex.w n -- )
132 ! Some instructions encode their single operand as part of
134 [ dupd prefix-1 reg-code ] dip + , ;
136 : opcode, ( opcode -- ) dup array? [ % ] [ , ] if ;
138 : extended-opcode ( opcode -- opcode' )
139 dup array? [ 0o17 prefix ] [ 0o17 swap 2array ] if ;
141 : extended-opcode, ( opcode -- ) extended-opcode opcode, ;
143 : opcode-or ( opcode mask -- opcode' )
145 [ [ unclip-last ] dip bitor suffix ] [ bitor ] if ;
147 : 1-operand ( operand reg,rex.w,opcode -- )
148 ! The 'reg' is not really a register, but a value for the
149 ! 'reg' field of the mod-r/m byte.
150 first3 [ overd prefix-1 ] dip opcode, swap addressing ;
152 : immediate-operand-size-bit ( dst imm reg,rex.w,opcode -- imm dst reg,rex.w,opcode )
153 over integer? [ first3 0b1 opcode-or 3array ] when ;
155 : immediate-1* ( dst imm reg,rex.w,opcode -- )
156 swap [ 1-operand ] dip 1, ;
158 : immediate-1 ( dst imm reg,rex.w,opcode -- )
159 immediate-operand-size-bit immediate-1* ;
161 : immediate-4 ( dst imm reg,rex.w,opcode -- )
162 immediate-operand-size-bit swap [ 1-operand ] dip 4, ;
164 : immediate-fits-in-size-bit ( dst imm reg,rex.w,opcode -- imm dst reg,rex.w,opcode )
165 over integer? [ first3 0b10 opcode-or 3array ] when ;
167 : immediate-1/4 ( dst imm reg,rex.w,opcode -- )
169 immediate-fits-in-size-bit immediate-1
174 : (2-operand) ( reg operand op -- )
175 [ 2dup t rex-prefix ] dip opcode,
176 [ reg-code ] dip addressing ;
178 : direction-bit ( dst src op -- reg operand op' )
179 pick register? pick register? not and
180 [ 0b10 opcode-or ] [ swapd ] if ;
182 : operand-size-bit ( reg operand op -- reg operand op' )
183 pick register-8? [ 0b1 opcode-or ] unless ;
185 : 2-operand ( dst src op -- )
186 direction-bit operand-size-bit
192 ! Segment override prefixes
200 GENERIC: PUSH ( op -- )
201 M: register PUSH f 0x50 short-operand ;
202 M: immediate PUSH 0x68 , 4, ;
203 M: operand PUSH { 0b110 f 0xff } 1-operand ;
205 GENERIC: POP ( op -- )
206 M: register POP f 0x58 short-operand ;
207 M: operand POP { 0b000 f 0x8f } 1-operand ;
211 : zero-extendable? ( imm -- ? )
212 1 32 2^ 1 - between? ;
214 : maybe-zero-extend ( reg imm -- reg' imm )
215 dup zero-extendable? [ [ 32-bit-version-of ] dip ] when ;
217 GENERIC#: (MOV-I) 1 ( dst src -- )
223 [ [ t 0xb0 short-operand ] [ 1, ] bi* ]
226 [ dup zero-extendable? ]
227 [ [ 32-bit-version-of t 0xb8 short-operand ] [ 4, ] bi* ]
229 [ [ t 0xb8 short-operand ] [ cell, ] bi* ]
234 over byte? [ immediate-1 ] [ immediate-4 ] if ;
238 GENERIC: MOV ( dst src -- )
239 M: immediate MOV (MOV-I) ;
240 M: operand MOV 0x88 2-operand ;
242 ERROR: bad-movabs-operands dst src ;
244 GENERIC: MOVABS ( dst src -- )
245 M: object MOVABS bad-movabs-operands ;
248 { AL [ 0xa2 , cell, ] }
249 { AX [ 0x66 , 0xa3 , cell, ] }
250 { EAX [ 0xa3 , cell, ] }
251 { RAX [ 0x48 , 0xa3 , cell, ] }
252 [ swap bad-movabs-operands ]
256 { AL [ 0xa0 , cell, ] }
257 { AX [ 0x66 , 0xa1 , cell, ] }
258 { EAX [ 0xa1 , cell, ] }
259 { RAX [ 0x48 , 0xa1 , cell, ] }
260 [ swap bad-movabs-operands ]
263 : LEA ( dst src -- ) swap 0x8d 2-operand ;
266 GENERIC: JMP ( op -- )
267 M: integer JMP 0xe9 , 4, ;
268 M: operand JMP { 0b100 t 0xff } 1-operand ;
270 GENERIC: CALL ( op -- )
271 M: integer CALL 0xe8 , 4, ;
272 M: operand CALL { 0b010 t 0xff } 1-operand ;
276 GENERIC#: JUMPcc 1 ( addr opcode -- )
277 M: integer JUMPcc extended-opcode, 4, ;
279 : SETcc ( dst opcode -- )
280 { 0b000 t } swap suffix 1-operand ;
284 : JO ( dst -- ) 0x80 JUMPcc ;
285 : JNO ( dst -- ) 0x81 JUMPcc ;
286 : JB ( dst -- ) 0x82 JUMPcc ;
287 : JAE ( dst -- ) 0x83 JUMPcc ;
288 : JE ( dst -- ) 0x84 JUMPcc ; ! aka JZ
289 : JNE ( dst -- ) 0x85 JUMPcc ;
290 : JBE ( dst -- ) 0x86 JUMPcc ;
291 : JA ( dst -- ) 0x87 JUMPcc ;
292 : JS ( dst -- ) 0x88 JUMPcc ;
293 : JNS ( dst -- ) 0x89 JUMPcc ;
294 : JP ( dst -- ) 0x8a JUMPcc ;
295 : JNP ( dst -- ) 0x8b JUMPcc ;
296 : JL ( dst -- ) 0x8c JUMPcc ;
297 : JGE ( dst -- ) 0x8d JUMPcc ;
298 : JLE ( dst -- ) 0x8e JUMPcc ;
299 : JG ( dst -- ) 0x8f JUMPcc ;
301 : SETO ( dst -- ) { 0x0f 0x90 } SETcc ;
302 : SETNO ( dst -- ) { 0x0f 0x91 } SETcc ;
303 : SETB ( dst -- ) { 0x0f 0x92 } SETcc ;
304 : SETAE ( dst -- ) { 0x0f 0x93 } SETcc ;
305 : SETE ( dst -- ) { 0x0f 0x94 } SETcc ;
306 : SETNE ( dst -- ) { 0x0f 0x95 } SETcc ;
307 : SETBE ( dst -- ) { 0x0f 0x96 } SETcc ;
308 : SETA ( dst -- ) { 0x0f 0x97 } SETcc ;
309 : SETS ( dst -- ) { 0x0f 0x98 } SETcc ;
310 : SETNS ( dst -- ) { 0x0f 0x99 } SETcc ;
311 : SETP ( dst -- ) { 0x0f 0x9a } SETcc ;
312 : SETNP ( dst -- ) { 0x0f 0x9b } SETcc ;
313 : SETL ( dst -- ) { 0x0f 0x9c } SETcc ;
314 : SETGE ( dst -- ) { 0x0f 0x9d } SETcc ;
315 : SETLE ( dst -- ) { 0x0f 0x9e } SETcc ;
316 : SETG ( dst -- ) { 0x0f 0x9f } SETcc ;
318 : LEAVE ( -- ) 0xc9 , ;
320 : RET ( n -- ) [ 0xc3 , ] [ 0xc2 , 2, ] if-zero ;
324 GENERIC: ADD ( dst src -- )
325 M: immediate ADD { 0b000 t 0x80 } immediate-1/4 ;
326 M: operand ADD 0o000 2-operand ;
328 GENERIC: OR ( dst src -- )
329 M: immediate OR { 0b001 t 0x80 } immediate-1/4 ;
330 M: operand OR 0o010 2-operand ;
332 GENERIC: ADC ( dst src -- )
333 M: immediate ADC { 0b010 t 0x80 } immediate-1/4 ;
334 M: operand ADC 0o020 2-operand ;
336 GENERIC: SBB ( dst src -- )
337 M: immediate SBB { 0b011 t 0x80 } immediate-1/4 ;
338 M: operand SBB 0o030 2-operand ;
340 GENERIC: AND ( dst src -- )
342 maybe-zero-extend { 0b100 t 0x80 } immediate-1/4 ;
343 M: operand AND 0o040 2-operand ;
345 GENERIC: SUB ( dst src -- )
346 M: immediate SUB { 0b101 t 0x80 } immediate-1/4 ;
347 M: operand SUB 0o050 2-operand ;
350 { 0b000 t 0xff } 1-operand ;
353 { 0b001 t 0xff } 1-operand ;
355 GENERIC: XOR ( dst src -- )
356 M: immediate XOR { 0b110 t 0x80 } immediate-1/4 ;
357 M: operand XOR 0o060 2-operand ;
359 GENERIC: CMP ( dst src -- )
360 M: immediate CMP { 0b111 t 0x80 } immediate-1/4 ;
361 M: operand CMP 0o070 2-operand ;
363 GENERIC: TEST ( dst src -- )
364 M: immediate TEST maybe-zero-extend { 0b0 t 0xf7 } immediate-4 ;
365 M: operand TEST 0o204 2-operand ;
367 : XCHG ( dst src -- ) 0o207 2-operand ;
369 : BSR ( dst src -- ) { 0x0f 0xbd } (2-operand) ;
371 GENERIC: BT ( value n -- )
372 M: immediate BT { 0b100 t { 0x0f 0xba } } immediate-1* ;
373 M: operand BT swap { 0x0f 0xa3 } (2-operand) ;
375 GENERIC: BTC ( value n -- )
376 M: immediate BTC { 0b111 t { 0x0f 0xba } } immediate-1* ;
377 M: operand BTC swap { 0x0f 0xbb } (2-operand) ;
379 GENERIC: BTR ( value n -- )
380 M: immediate BTR { 0b110 t { 0x0f 0xba } } immediate-1* ;
381 M: operand BTR swap { 0x0f 0xb3 } (2-operand) ;
383 GENERIC: BTS ( value n -- )
384 M: immediate BTS { 0b101 t { 0x0f 0xba } } immediate-1* ;
385 M: operand BTS swap { 0x0f 0xab } (2-operand) ;
387 : NOT ( dst -- ) { 0b010 t 0xf7 } 1-operand ;
388 : NEG ( dst -- ) { 0b011 t 0xf7 } 1-operand ;
389 : MUL ( dst -- ) { 0b100 t 0xf7 } 1-operand ;
390 : IMUL ( src -- ) { 0b101 t 0xf7 } 1-operand ;
391 : DIV ( dst -- ) { 0b110 t 0xf7 } 1-operand ;
392 : IDIV ( src -- ) { 0b111 t 0xf7 } 1-operand ;
394 : CDQ ( -- ) 0x99 , ;
395 : CQO ( -- ) 0x48 , CDQ ;
399 :: (SHIFT) ( dst src op -- )
401 dst { op t 0xd3 } 1-operand
403 dst src { op t 0xc0 } immediate-1
408 : ROL ( dst n -- ) 0b000 (SHIFT) ;
409 : ROR ( dst n -- ) 0b001 (SHIFT) ;
410 : RCL ( dst n -- ) 0b010 (SHIFT) ;
411 : RCR ( dst n -- ) 0b011 (SHIFT) ;
412 : SHL ( dst n -- ) 0b100 (SHIFT) ;
413 : SHR ( dst n -- ) 0b101 (SHIFT) ;
414 : SAR ( dst n -- ) 0b111 (SHIFT) ;
416 : IMUL2 ( dst src -- )
417 0o257 extended-opcode (2-operand) ;
419 : IMUL3 ( dst src imm -- )
421 [ swap 0x6a 2-operand ] dip 1,
423 [ swap 0x68 2-operand ] dip 4,
426 : MOVSX ( dst src -- )
427 dup register-32? 0o143 0o276 extended-opcode ?
428 over register-16? [ 0b1 opcode-or ] when
431 : MOVZX ( dst src -- )
432 0o266 extended-opcode
433 over register-16? [ 0b1 opcode-or ] when
437 : MOVcc ( dst src cc -- ) extended-opcode (2-operand) ;
439 : CMOVO ( dst src -- ) 0x40 MOVcc ;
440 : CMOVNO ( dst src -- ) 0x41 MOVcc ;
441 : CMOVB ( dst src -- ) 0x42 MOVcc ;
442 : CMOVAE ( dst src -- ) 0x43 MOVcc ;
443 : CMOVE ( dst src -- ) 0x44 MOVcc ; ! aka CMOVZ
444 : CMOVNE ( dst src -- ) 0x45 MOVcc ;
445 : CMOVBE ( dst src -- ) 0x46 MOVcc ;
446 : CMOVA ( dst src -- ) 0x47 MOVcc ;
447 : CMOVS ( dst src -- ) 0x48 MOVcc ;
448 : CMOVNS ( dst src -- ) 0x49 MOVcc ;
449 : CMOVP ( dst src -- ) 0x4a MOVcc ;
450 : CMOVNP ( dst src -- ) 0x4b MOVcc ;
451 : CMOVL ( dst src -- ) 0x4c MOVcc ;
452 : CMOVGE ( dst src -- ) 0x4d MOVcc ;
453 : CMOVLE ( dst src -- ) 0x4e MOVcc ;
454 : CMOVG ( dst src -- ) 0x4f MOVcc ;
458 : CPUID ( -- ) 0xa2 extended-opcode, ;
462 : NOP ( -- ) 0x90 , ;
463 : PAUSE ( -- ) 0xf3 , 0x90 , ;
465 : RDTSC ( -- ) 0x0f , 0x31 , ;
466 : RDMSR ( -- ) 0x0f , 0x32 , ; ! Only available in privileged level 0
467 : RDPMC ( -- ) 0x0f , 0x33 , ;
469 : RDRAND ( dst -- ) { 0b110 t { 0x0f 0xc7 } } 1-operand ;
471 ! x87 Floating Point Unit
473 : FSTPS ( operand -- ) { 0b011 f 0xd9 } 1-operand ;
474 : FSTPL ( operand -- ) { 0b011 f 0xdd } 1-operand ;
476 : FLDS ( operand -- ) { 0b000 f 0xd9 } 1-operand ;
477 : FLDL ( operand -- ) { 0b000 f 0xdd } 1-operand ;
479 : FNSTCW ( operand -- ) { 0b111 f 0xd9 } 1-operand ;
480 : FNSTSW ( operand -- ) { 0b111 f 0xdd } 1-operand ;
481 : FLDCW ( operand -- ) { 0b101 f 0xd9 } 1-operand ;
483 : FNCLEX ( -- ) 0xdb , 0xe2 , ;
484 : FNINIT ( -- ) 0xdb , 0xe3 , ;
486 ERROR: bad-x87-operands ;
490 :: (x87-op) ( operand opcode reg -- )
494 operand reg-code bitor , ;
496 :: x87-st0-op ( src opcode reg -- )
498 [ src opcode reg (x87-op) ]
499 [ bad-x87-operands ] if ;
501 :: x87-m-st0/n-op ( dst src opcode reg -- )
503 { [ dst ST0 = src indirect? and ] [
504 src { reg f opcode } 1-operand
506 { [ dst ST0 = src register? and ] [
507 src opcode reg (x87-op)
509 { [ src ST0 = dst register? and ] [
510 dst opcode 4 + reg (x87-op)
517 : F2XM1 ( -- ) { 0xD9 0xF0 } % ;
518 : FABS ( -- ) { 0xD9 0xE1 } % ;
519 : FADD ( dst src -- ) 0xD8 0 x87-m-st0/n-op ;
520 : FCHS ( -- ) { 0xD9 0xE0 } % ;
522 : FCMOVB ( src -- ) 0xDA 0 x87-st0-op ;
523 : FCMOVE ( src -- ) 0xDA 1 x87-st0-op ;
524 : FCMOVBE ( src -- ) 0xDA 2 x87-st0-op ;
525 : FCMOVU ( src -- ) 0xDA 3 x87-st0-op ;
526 : FCMOVNB ( src -- ) 0xDB 0 x87-st0-op ;
527 : FCMOVNE ( src -- ) 0xDB 1 x87-st0-op ;
528 : FCMOVNBE ( src -- ) 0xDB 2 x87-st0-op ;
529 : FCMOVNU ( src -- ) 0xDB 3 x87-st0-op ;
531 : FCOMI ( src -- ) 0xDB 6 x87-st0-op ;
532 : FUCOMI ( src -- ) 0xDB 5 x87-st0-op ;
533 : FCOS ( -- ) { 0xD9 0xFF } % ;
534 : FDECSTP ( -- ) { 0xD9 0xF6 } % ;
535 : FINCSTP ( -- ) { 0xD9 0xF7 } % ;
536 : FDIV ( dst src -- ) 0xD8 6 x87-m-st0/n-op ;
537 : FDIVR ( dst src -- ) 0xD8 7 x87-m-st0/n-op ;
539 : FILDD ( src -- ) { 0b000 f 0xDB } 1-operand ;
540 : FILDQ ( src -- ) { 0b101 f 0xDF } 1-operand ;
541 : FISTPD ( dst -- ) { 0b011 f 0xDB } 1-operand ;
542 : FISTPQ ( dst -- ) { 0b111 f 0xDF } 1-operand ;
543 : FISTTPD ( dst -- ) { 0b001 f 0xDB } 1-operand ;
544 : FISTTPQ ( dst -- ) { 0b001 f 0xDF } 1-operand ;
546 : FLD ( src -- ) 0xD9 0 x87-st0-op ;
547 : FLD1 ( -- ) { 0xD9 0xE8 } % ;
548 : FLDL2T ( -- ) { 0xD9 0xE9 } % ;
549 : FLDL2E ( -- ) { 0xD9 0xEA } % ;
550 : FLDPI ( -- ) { 0xD9 0xEB } % ;
551 : FLDLG2 ( -- ) { 0xD9 0xEC } % ;
552 : FLDLN2 ( -- ) { 0xD9 0xED } % ;
553 : FLDZ ( -- ) { 0xD9 0xEE } % ;
555 : FMUL ( dst src -- ) 0xD8 1 x87-m-st0/n-op ;
556 : FNOP ( -- ) { 0xD9 0xD0 } % ;
557 : FPATAN ( -- ) { 0xD9 0xF3 } % ;
558 : FPREM ( -- ) { 0xD9 0xF8 } % ;
559 : FPREM1 ( -- ) { 0xD9 0xF5 } % ;
560 : FRNDINT ( -- ) { 0xD9 0xFC } % ;
561 : FSCALE ( -- ) { 0xD9 0xFD } % ;
562 : FSIN ( -- ) { 0xD9 0xFE } % ;
563 : FSINCOS ( -- ) { 0xD9 0xFB } % ;
564 : FSQRT ( -- ) { 0xD9 0xFA } % ;
566 : FSUB ( dst src -- ) 0xD8 0x4 x87-m-st0/n-op ;
567 : FSUBR ( dst src -- ) 0xD8 0x5 x87-m-st0/n-op ;
569 : FST ( src -- ) 0xDD 2 x87-st0-op ;
570 : FSTP ( src -- ) 0xDD 3 x87-st0-op ;
572 : FXAM ( -- ) { 0xD9 0xE5 } % ;
573 : FXCH ( src -- ) 0xD9 1 x87-st0-op ;
575 : FXTRACT ( -- ) { 0xD9 0xF4 } % ;
576 : FYL2X ( -- ) { 0xD9 0xF1 } % ;
577 : FYL2XP1 ( -- ) { 0xD9 0xF1 } % ;
579 ! SSE multimedia instructions
583 : direction-bit-sse ( dst src op1 -- dst' src' op1' )
584 pick register-128? [ swapd 0b1 bitor ] unless ;
586 : 2-operand-sse ( dst src op1 op2 -- )
587 [ , ] when* direction-bit-sse extended-opcode (2-operand) ;
589 : direction-op-sse ( dst src op1s -- dst' src' op1' )
590 pick register-128? [ first ] [ swapd second ] if ;
592 : 2-operand-rm-mr-sse ( dst src op1{rm,mr} op2 -- )
593 [ , ] when* direction-op-sse extended-opcode (2-operand) ;
595 : 2-operand-rm-mr-sse* ( dst src op12{rm,mr} -- )
596 direction-op-sse first2 [ , ] when* extended-opcode (2-operand) ;
598 : 2-operand-rm-sse ( dst src op1 op2 -- )
599 [ , ] when* extended-opcode (2-operand) ;
601 : 2-operand-mr-sse ( dst src op1 op2 -- )
602 [ , ] when* extended-opcode swapd (2-operand) ;
604 : 2-operand-int/sse ( dst src op1 op2 -- )
605 [ , ] when* extended-opcode (2-operand) ;
607 :: 3-operand-rm-sse ( dst src imm op1 op2 -- )
608 dst src op1 op2 2-operand-rm-sse imm , ;
610 :: 3-operand-mr-sse ( dst src imm op1 op2 -- )
611 dst src op1 op2 2-operand-mr-sse imm , ;
613 :: 3-operand-rm-mr-sse ( dst src imm op1 op2 -- )
614 dst src op1 op2 2-operand-rm-mr-sse imm , ;
616 : 2-operand-sse-cmp ( dst src cmp op1 op2 -- )
617 3-operand-rm-sse ; inline
619 : 2-operand-sse-shift ( dst imm reg op1 op2 -- )
621 [ f 0x0f ] dip 2array 3array
626 : MOVUPS ( dest src -- ) 0x10 f 2-operand-sse ;
627 : MOVUPD ( dest src -- ) 0x10 0x66 2-operand-sse ;
628 : MOVSD ( dest src -- ) 0x10 0xf2 2-operand-sse ;
629 : MOVSS ( dest src -- ) 0x10 0xf3 2-operand-sse ;
630 : MOVLPS ( dest src -- ) 0x12 f 2-operand-sse ;
631 : MOVLPD ( dest src -- ) 0x12 0x66 2-operand-sse ;
632 : MOVDDUP ( dest src -- ) 0x12 0xf2 2-operand-rm-sse ;
633 : MOVSLDUP ( dest src -- ) 0x12 0xf3 2-operand-rm-sse ;
634 : UNPCKLPS ( dest src -- ) 0x14 f 2-operand-rm-sse ;
635 : UNPCKLPD ( dest src -- ) 0x14 0x66 2-operand-rm-sse ;
636 : UNPCKHPS ( dest src -- ) 0x15 f 2-operand-rm-sse ;
637 : UNPCKHPD ( dest src -- ) 0x15 0x66 2-operand-rm-sse ;
638 : MOVHPS ( dest src -- ) 0x16 f 2-operand-sse ;
639 : MOVHPD ( dest src -- ) 0x16 0x66 2-operand-sse ;
640 : MOVSHDUP ( dest src -- ) 0x16 0xf3 2-operand-rm-sse ;
642 ALIAS: MOVHLPS MOVLPS
643 ALIAS: MOVLHPS MOVHPS
645 : PREFETCHNTA ( mem -- ) { 0b000 f { 0x0f 0x18 } } 1-operand ;
646 : PREFETCHT0 ( mem -- ) { 0b001 f { 0x0f 0x18 } } 1-operand ;
647 : PREFETCHT1 ( mem -- ) { 0b010 f { 0x0f 0x18 } } 1-operand ;
648 : PREFETCHT2 ( mem -- ) { 0b011 f { 0x0f 0x18 } } 1-operand ;
650 : MOVAPS ( dest src -- ) 0x28 f 2-operand-sse ;
651 : MOVAPD ( dest src -- ) 0x28 0x66 2-operand-sse ;
652 : CVTSI2SD ( dest src -- ) 0x2a 0xf2 2-operand-int/sse ;
653 : CVTSI2SS ( dest src -- ) 0x2a 0xf3 2-operand-int/sse ;
654 : MOVNTPS ( dest src -- ) 0x2b f 2-operand-mr-sse ;
655 : MOVNTPD ( dest src -- ) 0x2b 0x66 2-operand-mr-sse ;
656 : CVTTSD2SI ( dest src -- ) 0x2c 0xf2 2-operand-int/sse ;
657 : CVTTSS2SI ( dest src -- ) 0x2c 0xf3 2-operand-int/sse ;
658 : CVTSD2SI ( dest src -- ) 0x2d 0xf2 2-operand-int/sse ;
659 : CVTSS2SI ( dest src -- ) 0x2d 0xf3 2-operand-int/sse ;
660 : UCOMISS ( dest src -- ) 0x2e f 2-operand-rm-sse ;
661 : UCOMISD ( dest src -- ) 0x2e 0x66 2-operand-rm-sse ;
662 : COMISS ( dest src -- ) 0x2f f 2-operand-rm-sse ;
663 : COMISD ( dest src -- ) 0x2f 0x66 2-operand-rm-sse ;
665 : PSHUFB ( dest src -- ) { 0x38 0x00 } 0x66 2-operand-rm-sse ;
666 : PHADDW ( dest src -- ) { 0x38 0x01 } 0x66 2-operand-rm-sse ;
667 : PHADDD ( dest src -- ) { 0x38 0x02 } 0x66 2-operand-rm-sse ;
668 : PHADDSW ( dest src -- ) { 0x38 0x03 } 0x66 2-operand-rm-sse ;
669 : PMADDUBSW ( dest src -- ) { 0x38 0x04 } 0x66 2-operand-rm-sse ;
670 : PHSUBW ( dest src -- ) { 0x38 0x05 } 0x66 2-operand-rm-sse ;
671 : PHSUBD ( dest src -- ) { 0x38 0x06 } 0x66 2-operand-rm-sse ;
672 : PHSUBSW ( dest src -- ) { 0x38 0x07 } 0x66 2-operand-rm-sse ;
673 : PSIGNB ( dest src -- ) { 0x38 0x08 } 0x66 2-operand-rm-sse ;
674 : PSIGNW ( dest src -- ) { 0x38 0x09 } 0x66 2-operand-rm-sse ;
675 : PSIGND ( dest src -- ) { 0x38 0x0a } 0x66 2-operand-rm-sse ;
676 : PMULHRSW ( dest src -- ) { 0x38 0x0b } 0x66 2-operand-rm-sse ;
677 : PBLENDVB ( dest src -- ) { 0x38 0x10 } 0x66 2-operand-rm-sse ;
678 : BLENDVPS ( dest src -- ) { 0x38 0x14 } 0x66 2-operand-rm-sse ;
679 : BLENDVPD ( dest src -- ) { 0x38 0x15 } 0x66 2-operand-rm-sse ;
680 : PTEST ( dest src -- ) { 0x38 0x17 } 0x66 2-operand-rm-sse ;
681 : PABSB ( dest src -- ) { 0x38 0x1c } 0x66 2-operand-rm-sse ;
682 : PABSW ( dest src -- ) { 0x38 0x1d } 0x66 2-operand-rm-sse ;
683 : PABSD ( dest src -- ) { 0x38 0x1e } 0x66 2-operand-rm-sse ;
684 : PMOVSXBW ( dest src -- ) { 0x38 0x20 } 0x66 2-operand-rm-sse ;
685 : PMOVSXBD ( dest src -- ) { 0x38 0x21 } 0x66 2-operand-rm-sse ;
686 : PMOVSXBQ ( dest src -- ) { 0x38 0x22 } 0x66 2-operand-rm-sse ;
687 : PMOVSXWD ( dest src -- ) { 0x38 0x23 } 0x66 2-operand-rm-sse ;
688 : PMOVSXWQ ( dest src -- ) { 0x38 0x24 } 0x66 2-operand-rm-sse ;
689 : PMOVSXDQ ( dest src -- ) { 0x38 0x25 } 0x66 2-operand-rm-sse ;
690 : PMULDQ ( dest src -- ) { 0x38 0x28 } 0x66 2-operand-rm-sse ;
691 : PCMPEQQ ( dest src -- ) { 0x38 0x29 } 0x66 2-operand-rm-sse ;
692 : MOVNTDQA ( dest src -- ) { 0x38 0x2a } 0x66 2-operand-rm-sse ;
693 : PACKUSDW ( dest src -- ) { 0x38 0x2b } 0x66 2-operand-rm-sse ;
694 : PMOVZXBW ( dest src -- ) { 0x38 0x30 } 0x66 2-operand-rm-sse ;
695 : PMOVZXBD ( dest src -- ) { 0x38 0x31 } 0x66 2-operand-rm-sse ;
696 : PMOVZXBQ ( dest src -- ) { 0x38 0x32 } 0x66 2-operand-rm-sse ;
697 : PMOVZXWD ( dest src -- ) { 0x38 0x33 } 0x66 2-operand-rm-sse ;
698 : PMOVZXWQ ( dest src -- ) { 0x38 0x34 } 0x66 2-operand-rm-sse ;
699 : PMOVZXDQ ( dest src -- ) { 0x38 0x35 } 0x66 2-operand-rm-sse ;
700 : PCMPGTQ ( dest src -- ) { 0x38 0x37 } 0x66 2-operand-rm-sse ;
701 : PMINSB ( dest src -- ) { 0x38 0x38 } 0x66 2-operand-rm-sse ;
702 : PMINSD ( dest src -- ) { 0x38 0x39 } 0x66 2-operand-rm-sse ;
703 : PMINUW ( dest src -- ) { 0x38 0x3a } 0x66 2-operand-rm-sse ;
704 : PMINUD ( dest src -- ) { 0x38 0x3b } 0x66 2-operand-rm-sse ;
705 : PMAXSB ( dest src -- ) { 0x38 0x3c } 0x66 2-operand-rm-sse ;
706 : PMAXSD ( dest src -- ) { 0x38 0x3d } 0x66 2-operand-rm-sse ;
707 : PMAXUW ( dest src -- ) { 0x38 0x3e } 0x66 2-operand-rm-sse ;
708 : PMAXUD ( dest src -- ) { 0x38 0x3f } 0x66 2-operand-rm-sse ;
709 : PMULLD ( dest src -- ) { 0x38 0x40 } 0x66 2-operand-rm-sse ;
710 : PHMINPOSUW ( dest src -- ) { 0x38 0x41 } 0x66 2-operand-rm-sse ;
711 : CRC32B ( dest src -- ) { 0x38 0xf0 } 0xf2 2-operand-rm-sse ;
712 : CRC32 ( dest src -- ) { 0x38 0xf1 } 0xf2 2-operand-rm-sse ;
714 : ROUNDPS ( dest src imm -- ) { 0x3a 0x08 } 0x66 3-operand-rm-sse ;
715 : ROUNDPD ( dest src imm -- ) { 0x3a 0x09 } 0x66 3-operand-rm-sse ;
716 : ROUNDSS ( dest src imm -- ) { 0x3a 0x0a } 0x66 3-operand-rm-sse ;
717 : ROUNDSD ( dest src imm -- ) { 0x3a 0x0b } 0x66 3-operand-rm-sse ;
718 : BLENDPS ( dest src imm -- ) { 0x3a 0x0c } 0x66 3-operand-rm-sse ;
719 : BLENDPD ( dest src imm -- ) { 0x3a 0x0d } 0x66 3-operand-rm-sse ;
720 : PBLENDW ( dest src imm -- ) { 0x3a 0x0e } 0x66 3-operand-rm-sse ;
721 : PALIGNR ( dest src imm -- ) { 0x3a 0x0f } 0x66 3-operand-rm-sse ;
723 : PEXTRB ( dest src imm -- ) { 0x3a 0x14 } 0x66 3-operand-mr-sse ;
726 : (PEXTRW-sse1) ( dest src imm -- ) 0xc5 0x66 3-operand-rm-sse ;
727 : (PEXTRW-sse4) ( dest src imm -- ) { 0x3a 0x15 } 0x66 3-operand-mr-sse ;
730 : PEXTRW ( dest src imm -- ) pick indirect? [ (PEXTRW-sse4) ] [ (PEXTRW-sse1) ] if ;
731 : PEXTRD ( dest src imm -- ) { 0x3a 0x16 } 0x66 3-operand-mr-sse ;
733 : EXTRACTPS ( dest src imm -- ) { 0x3a 0x17 } 0x66 3-operand-mr-sse ;
735 : PINSRB ( dest src imm -- ) { 0x3a 0x20 } 0x66 3-operand-rm-sse ;
736 : INSERTPS ( dest src imm -- ) { 0x3a 0x21 } 0x66 3-operand-rm-sse ;
737 : PINSRD ( dest src imm -- ) { 0x3a 0x22 } 0x66 3-operand-rm-sse ;
739 : DPPS ( dest src imm -- ) { 0x3a 0x40 } 0x66 3-operand-rm-sse ;
740 : DPPD ( dest src imm -- ) { 0x3a 0x41 } 0x66 3-operand-rm-sse ;
741 : MPSADBW ( dest src imm -- ) { 0x3a 0x42 } 0x66 3-operand-rm-sse ;
742 : PCMPESTRM ( dest src imm -- ) { 0x3a 0x60 } 0x66 3-operand-rm-sse ;
743 : PCMPESTRI ( dest src imm -- ) { 0x3a 0x61 } 0x66 3-operand-rm-sse ;
744 : PCMPISTRM ( dest src imm -- ) { 0x3a 0x62 } 0x66 3-operand-rm-sse ;
745 : PCMPISTRI ( dest src imm -- ) { 0x3a 0x63 } 0x66 3-operand-rm-sse ;
747 : MOVMSKPS ( dest src -- ) 0x50 f 2-operand-int/sse ;
748 : MOVMSKPD ( dest src -- ) 0x50 0x66 2-operand-int/sse ;
749 : SQRTPS ( dest src -- ) 0x51 f 2-operand-rm-sse ;
750 : SQRTPD ( dest src -- ) 0x51 0x66 2-operand-rm-sse ;
751 : SQRTSD ( dest src -- ) 0x51 0xf2 2-operand-rm-sse ;
752 : SQRTSS ( dest src -- ) 0x51 0xf3 2-operand-rm-sse ;
753 : RSQRTPS ( dest src -- ) 0x52 f 2-operand-rm-sse ;
754 : RSQRTSS ( dest src -- ) 0x52 0xf3 2-operand-rm-sse ;
755 : RCPPS ( dest src -- ) 0x53 f 2-operand-rm-sse ;
756 : RCPSS ( dest src -- ) 0x53 0xf3 2-operand-rm-sse ;
757 : ANDPS ( dest src -- ) 0x54 f 2-operand-rm-sse ;
758 : ANDPD ( dest src -- ) 0x54 0x66 2-operand-rm-sse ;
759 : ANDNPS ( dest src -- ) 0x55 f 2-operand-rm-sse ;
760 : ANDNPD ( dest src -- ) 0x55 0x66 2-operand-rm-sse ;
761 : ORPS ( dest src -- ) 0x56 f 2-operand-rm-sse ;
762 : ORPD ( dest src -- ) 0x56 0x66 2-operand-rm-sse ;
763 : XORPS ( dest src -- ) 0x57 f 2-operand-rm-sse ;
764 : XORPD ( dest src -- ) 0x57 0x66 2-operand-rm-sse ;
765 : ADDPS ( dest src -- ) 0x58 f 2-operand-rm-sse ;
766 : ADDPD ( dest src -- ) 0x58 0x66 2-operand-rm-sse ;
767 : ADDSD ( dest src -- ) 0x58 0xf2 2-operand-rm-sse ;
768 : ADDSS ( dest src -- ) 0x58 0xf3 2-operand-rm-sse ;
769 : MULPS ( dest src -- ) 0x59 f 2-operand-rm-sse ;
770 : MULPD ( dest src -- ) 0x59 0x66 2-operand-rm-sse ;
771 : MULSD ( dest src -- ) 0x59 0xf2 2-operand-rm-sse ;
772 : MULSS ( dest src -- ) 0x59 0xf3 2-operand-rm-sse ;
773 : CVTPS2PD ( dest src -- ) 0x5a f 2-operand-rm-sse ;
774 : CVTPD2PS ( dest src -- ) 0x5a 0x66 2-operand-rm-sse ;
775 : CVTSD2SS ( dest src -- ) 0x5a 0xf2 2-operand-rm-sse ;
776 : CVTSS2SD ( dest src -- ) 0x5a 0xf3 2-operand-rm-sse ;
777 : CVTDQ2PS ( dest src -- ) 0x5b f 2-operand-rm-sse ;
778 : CVTPS2DQ ( dest src -- ) 0x5b 0x66 2-operand-rm-sse ;
779 : CVTTPS2DQ ( dest src -- ) 0x5b 0xf3 2-operand-rm-sse ;
780 : SUBPS ( dest src -- ) 0x5c f 2-operand-rm-sse ;
781 : SUBPD ( dest src -- ) 0x5c 0x66 2-operand-rm-sse ;
782 : SUBSD ( dest src -- ) 0x5c 0xf2 2-operand-rm-sse ;
783 : SUBSS ( dest src -- ) 0x5c 0xf3 2-operand-rm-sse ;
784 : MINPS ( dest src -- ) 0x5d f 2-operand-rm-sse ;
785 : MINPD ( dest src -- ) 0x5d 0x66 2-operand-rm-sse ;
786 : MINSD ( dest src -- ) 0x5d 0xf2 2-operand-rm-sse ;
787 : MINSS ( dest src -- ) 0x5d 0xf3 2-operand-rm-sse ;
788 : DIVPS ( dest src -- ) 0x5e f 2-operand-rm-sse ;
789 : DIVPD ( dest src -- ) 0x5e 0x66 2-operand-rm-sse ;
790 : DIVSD ( dest src -- ) 0x5e 0xf2 2-operand-rm-sse ;
791 : DIVSS ( dest src -- ) 0x5e 0xf3 2-operand-rm-sse ;
792 : MAXPS ( dest src -- ) 0x5f f 2-operand-rm-sse ;
793 : MAXPD ( dest src -- ) 0x5f 0x66 2-operand-rm-sse ;
794 : MAXSD ( dest src -- ) 0x5f 0xf2 2-operand-rm-sse ;
795 : MAXSS ( dest src -- ) 0x5f 0xf3 2-operand-rm-sse ;
796 : PUNPCKLBW ( dest src -- ) 0x60 0x66 2-operand-rm-sse ;
797 : PUNPCKLWD ( dest src -- ) 0x61 0x66 2-operand-rm-sse ;
798 : PUNPCKLDQ ( dest src -- ) 0x62 0x66 2-operand-rm-sse ;
799 : PACKSSWB ( dest src -- ) 0x63 0x66 2-operand-rm-sse ;
800 : PCMPGTB ( dest src -- ) 0x64 0x66 2-operand-rm-sse ;
801 : PCMPGTW ( dest src -- ) 0x65 0x66 2-operand-rm-sse ;
802 : PCMPGTD ( dest src -- ) 0x66 0x66 2-operand-rm-sse ;
803 : PACKUSWB ( dest src -- ) 0x67 0x66 2-operand-rm-sse ;
804 : PUNPCKHBW ( dest src -- ) 0x68 0x66 2-operand-rm-sse ;
805 : PUNPCKHWD ( dest src -- ) 0x69 0x66 2-operand-rm-sse ;
806 : PUNPCKHDQ ( dest src -- ) 0x6a 0x66 2-operand-rm-sse ;
807 : PACKSSDW ( dest src -- ) 0x6b 0x66 2-operand-rm-sse ;
808 : PUNPCKLQDQ ( dest src -- ) 0x6c 0x66 2-operand-rm-sse ;
809 : PUNPCKHQDQ ( dest src -- ) 0x6d 0x66 2-operand-rm-sse ;
811 : MOVD ( dest src -- ) { 0x6e 0x7e } 0x66 2-operand-rm-mr-sse ;
812 : MOVDQA ( dest src -- ) { 0x6f 0x7f } 0x66 2-operand-rm-mr-sse ;
813 : MOVDQU ( dest src -- ) { 0x6f 0x7f } 0xf3 2-operand-rm-mr-sse ;
815 : MOVQ ( dest src -- )
816 { { 0x7e 0xf3 } { 0xd6 0x66 } } 2-operand-rm-mr-sse* ;
820 : 2shuffler ( indexes/mask -- mask )
821 dup integer? [ first2 { 1 0 } bitfield ] unless ;
822 : 4shuffler ( indexes/mask -- mask )
823 dup integer? [ first4 { 6 4 2 0 } bitfield ] unless ;
827 : PSHUFD ( dest src imm -- ) 4shuffler 0x70 0x66 3-operand-rm-sse ;
828 : PSHUFLW ( dest src imm -- ) 4shuffler 0x70 0xf2 3-operand-rm-sse ;
829 : PSHUFHW ( dest src imm -- ) 4shuffler 0x70 0xf3 3-operand-rm-sse ;
833 : (PSRLW-imm) ( dest imm -- ) 0b010 0x71 0x66 2-operand-sse-shift ;
834 : (PSRAW-imm) ( dest imm -- ) 0b100 0x71 0x66 2-operand-sse-shift ;
835 : (PSLLW-imm) ( dest imm -- ) 0b110 0x71 0x66 2-operand-sse-shift ;
836 : (PSRLD-imm) ( dest imm -- ) 0b010 0x72 0x66 2-operand-sse-shift ;
837 : (PSRAD-imm) ( dest imm -- ) 0b100 0x72 0x66 2-operand-sse-shift ;
838 : (PSLLD-imm) ( dest imm -- ) 0b110 0x72 0x66 2-operand-sse-shift ;
839 : (PSRLQ-imm) ( dest imm -- ) 0b010 0x73 0x66 2-operand-sse-shift ;
840 : (PSLLQ-imm) ( dest imm -- ) 0b110 0x73 0x66 2-operand-sse-shift ;
842 : (PSRLW-reg) ( dest src -- ) 0xd1 0x66 2-operand-rm-sse ;
843 : (PSRLD-reg) ( dest src -- ) 0xd2 0x66 2-operand-rm-sse ;
844 : (PSRLQ-reg) ( dest src -- ) 0xd3 0x66 2-operand-rm-sse ;
845 : (PSRAW-reg) ( dest src -- ) 0xe1 0x66 2-operand-rm-sse ;
846 : (PSRAD-reg) ( dest src -- ) 0xe2 0x66 2-operand-rm-sse ;
847 : (PSLLW-reg) ( dest src -- ) 0xf1 0x66 2-operand-rm-sse ;
848 : (PSLLD-reg) ( dest src -- ) 0xf2 0x66 2-operand-rm-sse ;
849 : (PSLLQ-reg) ( dest src -- ) 0xf3 0x66 2-operand-rm-sse ;
853 : PSRLW ( dest src -- ) dup integer? [ (PSRLW-imm) ] [ (PSRLW-reg) ] if ;
854 : PSRAW ( dest src -- ) dup integer? [ (PSRAW-imm) ] [ (PSRAW-reg) ] if ;
855 : PSLLW ( dest src -- ) dup integer? [ (PSLLW-imm) ] [ (PSLLW-reg) ] if ;
856 : PSRLD ( dest src -- ) dup integer? [ (PSRLD-imm) ] [ (PSRLD-reg) ] if ;
857 : PSRAD ( dest src -- ) dup integer? [ (PSRAD-imm) ] [ (PSRAD-reg) ] if ;
858 : PSLLD ( dest src -- ) dup integer? [ (PSLLD-imm) ] [ (PSLLD-reg) ] if ;
859 : PSRLQ ( dest src -- ) dup integer? [ (PSRLQ-imm) ] [ (PSRLQ-reg) ] if ;
860 : PSLLQ ( dest src -- ) dup integer? [ (PSLLQ-imm) ] [ (PSLLQ-reg) ] if ;
862 : PSRLDQ ( dest imm -- ) 0b011 0x73 0x66 2-operand-sse-shift ;
863 : PSLLDQ ( dest imm -- ) 0b111 0x73 0x66 2-operand-sse-shift ;
865 : PCMPEQB ( dest src -- ) 0x74 0x66 2-operand-rm-sse ;
866 : PCMPEQW ( dest src -- ) 0x75 0x66 2-operand-rm-sse ;
867 : PCMPEQD ( dest src -- ) 0x76 0x66 2-operand-rm-sse ;
868 : HADDPD ( dest src -- ) 0x7c 0x66 2-operand-rm-sse ;
869 : HADDPS ( dest src -- ) 0x7c 0xf2 2-operand-rm-sse ;
870 : HSUBPD ( dest src -- ) 0x7d 0x66 2-operand-rm-sse ;
871 : HSUBPS ( dest src -- ) 0x7d 0xf2 2-operand-rm-sse ;
873 : FXSAVE ( dest -- ) { 0b000 f { 0x0f 0xae } } 1-operand ;
874 : FXRSTOR ( src -- ) { 0b001 f { 0x0f 0xae } } 1-operand ;
875 : LDMXCSR ( src -- ) { 0b010 f { 0x0f 0xae } } 1-operand ;
876 : STMXCSR ( dest -- ) { 0b011 f { 0x0f 0xae } } 1-operand ;
877 : LFENCE ( -- ) 0x0f , 0xae , 0o350 , ;
878 : MFENCE ( -- ) 0x0f , 0xae , 0o360 , ;
879 : SFENCE ( -- ) 0x0f , 0xae , 0o370 , ;
880 : CLFLUSH ( dest -- ) { 0b111 f { 0x0f 0xae } } 1-operand ;
882 : POPCNT ( dest src -- ) 0xb8 0xf3 2-operand-rm-sse ;
884 : CMPEQPS ( dest src -- ) 0 0xc2 f 2-operand-sse-cmp ;
885 : CMPLTPS ( dest src -- ) 1 0xc2 f 2-operand-sse-cmp ;
886 : CMPLEPS ( dest src -- ) 2 0xc2 f 2-operand-sse-cmp ;
887 : CMPUNORDPS ( dest src -- ) 3 0xc2 f 2-operand-sse-cmp ;
888 : CMPNEQPS ( dest src -- ) 4 0xc2 f 2-operand-sse-cmp ;
889 : CMPNLTPS ( dest src -- ) 5 0xc2 f 2-operand-sse-cmp ;
890 : CMPNLEPS ( dest src -- ) 6 0xc2 f 2-operand-sse-cmp ;
891 : CMPORDPS ( dest src -- ) 7 0xc2 f 2-operand-sse-cmp ;
893 : CMPEQPD ( dest src -- ) 0 0xc2 0x66 2-operand-sse-cmp ;
894 : CMPLTPD ( dest src -- ) 1 0xc2 0x66 2-operand-sse-cmp ;
895 : CMPLEPD ( dest src -- ) 2 0xc2 0x66 2-operand-sse-cmp ;
896 : CMPUNORDPD ( dest src -- ) 3 0xc2 0x66 2-operand-sse-cmp ;
897 : CMPNEQPD ( dest src -- ) 4 0xc2 0x66 2-operand-sse-cmp ;
898 : CMPNLTPD ( dest src -- ) 5 0xc2 0x66 2-operand-sse-cmp ;
899 : CMPNLEPD ( dest src -- ) 6 0xc2 0x66 2-operand-sse-cmp ;
900 : CMPORDPD ( dest src -- ) 7 0xc2 0x66 2-operand-sse-cmp ;
902 : CMPEQSD ( dest src -- ) 0 0xc2 0xf2 2-operand-sse-cmp ;
903 : CMPLTSD ( dest src -- ) 1 0xc2 0xf2 2-operand-sse-cmp ;
904 : CMPLESD ( dest src -- ) 2 0xc2 0xf2 2-operand-sse-cmp ;
905 : CMPUNORDSD ( dest src -- ) 3 0xc2 0xf2 2-operand-sse-cmp ;
906 : CMPNEQSD ( dest src -- ) 4 0xc2 0xf2 2-operand-sse-cmp ;
907 : CMPNLTSD ( dest src -- ) 5 0xc2 0xf2 2-operand-sse-cmp ;
908 : CMPNLESD ( dest src -- ) 6 0xc2 0xf2 2-operand-sse-cmp ;
909 : CMPORDSD ( dest src -- ) 7 0xc2 0xf2 2-operand-sse-cmp ;
911 : CMPEQSS ( dest src -- ) 0 0xc2 0xf3 2-operand-sse-cmp ;
912 : CMPLTSS ( dest src -- ) 1 0xc2 0xf3 2-operand-sse-cmp ;
913 : CMPLESS ( dest src -- ) 2 0xc2 0xf3 2-operand-sse-cmp ;
914 : CMPUNORDSS ( dest src -- ) 3 0xc2 0xf3 2-operand-sse-cmp ;
915 : CMPNEQSS ( dest src -- ) 4 0xc2 0xf3 2-operand-sse-cmp ;
916 : CMPNLTSS ( dest src -- ) 5 0xc2 0xf3 2-operand-sse-cmp ;
917 : CMPNLESS ( dest src -- ) 6 0xc2 0xf3 2-operand-sse-cmp ;
918 : CMPORDSS ( dest src -- ) 7 0xc2 0xf3 2-operand-sse-cmp ;
920 : MOVNTI ( dest src -- ) swap { 0x0f 0xc3 } (2-operand) ;
922 : PINSRW ( dest src imm -- ) 0xc4 0x66 3-operand-rm-sse ;
923 : SHUFPS ( dest src imm -- ) 4shuffler 0xc6 f 3-operand-rm-sse ;
924 : SHUFPD ( dest src imm -- ) 2shuffler 0xc6 0x66 3-operand-rm-sse ;
926 : ADDSUBPD ( dest src -- ) 0xd0 0x66 2-operand-rm-sse ;
927 : ADDSUBPS ( dest src -- ) 0xd0 0xf2 2-operand-rm-sse ;
928 : PADDQ ( dest src -- ) 0xd4 0x66 2-operand-rm-sse ;
929 : PMULLW ( dest src -- ) 0xd5 0x66 2-operand-rm-sse ;
930 : PMOVMSKB ( dest src -- ) 0xd7 0x66 2-operand-rm-sse ;
931 : PSUBUSB ( dest src -- ) 0xd8 0x66 2-operand-rm-sse ;
932 : PSUBUSW ( dest src -- ) 0xd9 0x66 2-operand-rm-sse ;
933 : PMINUB ( dest src -- ) 0xda 0x66 2-operand-rm-sse ;
934 : PAND ( dest src -- ) 0xdb 0x66 2-operand-rm-sse ;
935 : PADDUSB ( dest src -- ) 0xdc 0x66 2-operand-rm-sse ;
936 : PADDUSW ( dest src -- ) 0xdd 0x66 2-operand-rm-sse ;
937 : PMAXUB ( dest src -- ) 0xde 0x66 2-operand-rm-sse ;
938 : PANDN ( dest src -- ) 0xdf 0x66 2-operand-rm-sse ;
939 : PAVGB ( dest src -- ) 0xe0 0x66 2-operand-rm-sse ;
940 : PAVGW ( dest src -- ) 0xe3 0x66 2-operand-rm-sse ;
941 : PMULHUW ( dest src -- ) 0xe4 0x66 2-operand-rm-sse ;
942 : PMULHW ( dest src -- ) 0xe5 0x66 2-operand-rm-sse ;
943 : CVTTPD2DQ ( dest src -- ) 0xe6 0x66 2-operand-rm-sse ;
944 : CVTPD2DQ ( dest src -- ) 0xe6 0xf2 2-operand-rm-sse ;
945 : CVTDQ2PD ( dest src -- ) 0xe6 0xf3 2-operand-rm-sse ;
947 : MOVNTDQ ( dest src -- ) 0xe7 0x66 2-operand-mr-sse ;
949 : PSUBSB ( dest src -- ) 0xe8 0x66 2-operand-rm-sse ;
950 : PSUBSW ( dest src -- ) 0xe9 0x66 2-operand-rm-sse ;
951 : PMINSW ( dest src -- ) 0xea 0x66 2-operand-rm-sse ;
952 : POR ( dest src -- ) 0xeb 0x66 2-operand-rm-sse ;
953 : PADDSB ( dest src -- ) 0xec 0x66 2-operand-rm-sse ;
954 : PADDSW ( dest src -- ) 0xed 0x66 2-operand-rm-sse ;
955 : PMAXSW ( dest src -- ) 0xee 0x66 2-operand-rm-sse ;
956 : PXOR ( dest src -- ) 0xef 0x66 2-operand-rm-sse ;
957 : LDDQU ( dest src -- ) 0xf0 0xf2 2-operand-rm-sse ;
958 : PMULUDQ ( dest src -- ) 0xf4 0x66 2-operand-rm-sse ;
959 : PMADDWD ( dest src -- ) 0xf5 0x66 2-operand-rm-sse ;
960 : PSADBW ( dest src -- ) 0xf6 0x66 2-operand-rm-sse ;
961 : MASKMOVDQU ( dest src -- ) 0xf7 0x66 2-operand-rm-sse ;
962 : PSUBB ( dest src -- ) 0xf8 0x66 2-operand-rm-sse ;
963 : PSUBW ( dest src -- ) 0xf9 0x66 2-operand-rm-sse ;
964 : PSUBD ( dest src -- ) 0xfa 0x66 2-operand-rm-sse ;
965 : PSUBQ ( dest src -- ) 0xfb 0x66 2-operand-rm-sse ;
966 : PADDB ( dest src -- ) 0xfc 0x66 2-operand-rm-sse ;
967 : PADDW ( dest src -- ) 0xfd 0x66 2-operand-rm-sse ;
968 : PADDD ( dest src -- ) 0xfe 0x66 2-operand-rm-sse ;
970 ! x86-64 branch prediction hints
972 : HWNT ( -- ) 0x2e , ; ! Hint branch Weakly Not Taken
973 : HST ( -- ) 0x3e , ; ! Hint branch Strongly Taken
975 ! interrupt instructions
977 : INT ( n -- ) dup 3 = [ drop 0xcc , ] [ 0xcd , 1, ] if ;
981 : PUSHF ( -- ) 0x9c , ;
982 : POPF ( -- ) 0x9d , ;