1 ! Copyright (C) 2005, 2010 Slava Pestov, Joe Groff.
2 ! See http://factorcode.org/license.txt for BSD license.
3 USING: arrays io.binary kernel combinators
4 combinators.short-circuit math math.bitwise locals namespaces
5 make sequences words system layouts math.order accessors
6 cpu.x86.assembler.operands cpu.x86.assembler.operands.private ;
9 ! A postfix assembler for x86-32 and x86-64.
13 : reg-code ( reg -- n ) "register" word-prop 7 bitand ;
15 : indirect-base* ( op -- n ) base>> EBP or reg-code ;
17 : indirect-index* ( op -- n ) index>> ESP or reg-code ;
19 : indirect-scale* ( op -- n ) scale>> 0 or ;
21 GENERIC: sib-present? ( op -- ? )
23 M: indirect sib-present?
25 [ base>> { ESP RSP R12 } member? ]
30 M: register sib-present? drop f ;
32 GENERIC: r/m ( operand -- n )
36 [ drop ESP reg-code ] [ indirect-base* ] if ;
38 M: register r/m reg-code ;
41 UNION: immediate byte integer ;
43 GENERIC: fits-in-byte? ( value -- ? )
45 M: byte fits-in-byte? drop t ;
47 M: integer fits-in-byte? -128 127 between? ;
49 GENERIC: modifier ( op -- n )
54 { [ dup not ] [ BIN: 00 ] }
55 { [ dup fits-in-byte? ] [ BIN: 01 ] }
56 { [ dup immediate? ] [ BIN: 10 ] }
62 M: register modifier drop BIN: 11 ;
64 GENERIC# n, 1 ( value n -- )
67 M: byte n, [ value>> ] dip n, ;
68 : 1, ( n -- ) 1 n, ; inline
69 : 4, ( n -- ) 4 n, ; inline
70 : 2, ( n -- ) 2 n, ; inline
71 : cell, ( n -- ) bootstrap-cell n, ; inline
73 : mod-r/m, ( reg operand -- )
74 [ 3 shift ] [ [ modifier 6 shift ] [ r/m ] bi ] bi* bitor bitor , ;
79 [ indirect-index* 3 shift ]
80 [ indirect-scale* 6 shift ] tri bitor bitor ,
85 GENERIC: displacement, ( op -- )
87 M: indirect displacement,
88 dup displacement>> dup [
90 [ dup fits-in-byte? [ , ] [ 4, ] if ] [ 4, ] if
93 M: register displacement, drop ;
95 : addressing ( reg operand -- )
96 [ mod-r/m, ] [ sib, ] [ displacement, ] tri ;
98 : rex.w? ( rex.w reg r/m -- ? )
100 { [ over register-128? ] [ nip operand-64? ] }
101 { [ over not ] [ nip operand-64? ] }
105 : rex.r ( m op -- n )
106 extended? [ BIN: 00000100 bitor ] when ;
108 : rex.b ( m op -- n )
109 [ extended? [ BIN: 00000001 bitor ] when ] keep
110 dup indirect? [ index>> extended? [ BIN: 00000010 bitor ] when ] [ drop ] if ;
112 : no-prefix? ( prefix reg r/m -- ? )
114 [ extended-8-bit-register? not ]
115 [ extended-8-bit-register? not ] tri*
118 :: rex-prefix ( reg r/m rex.w -- )
119 #! Compile an AMD64 REX prefix.
120 rex.w reg r/m rex.w? BIN: 01001000 BIN: 01000000 ?
123 dup reg r/m no-prefix? [ drop ] [ , ] if ;
125 : 16-prefix ( reg -- )
126 register-16? [ HEX: 66 , ] when ;
128 : prefix-1 ( reg rex.w -- )
129 [ drop 16-prefix ] [ [ f ] 2dip rex-prefix ] 2bi ;
131 : short-operand ( reg rex.w n -- )
132 #! Some instructions encode their single operand as part of
134 [ dupd prefix-1 reg-code ] dip + , ;
136 : opcode, ( opcode -- ) dup array? [ % ] [ , ] if ;
138 : extended-opcode ( opcode -- opcode' )
139 dup array? [ OCT: 17 prefix ] [ OCT: 17 swap 2array ] if ;
141 : extended-opcode, ( opcode -- ) extended-opcode opcode, ;
143 : opcode-or ( opcode mask -- opcode' )
145 [ [ unclip-last ] dip bitor suffix ] [ bitor ] if ;
147 : 1-operand ( operand reg,rex.w,opcode -- )
148 #! The 'reg' is not really a register, but a value for the
149 #! 'reg' field of the mod-r/m byte.
150 first3 [ [ over ] dip prefix-1 ] dip opcode, swap addressing ;
152 : immediate-operand-size-bit ( dst imm reg,rex.w,opcode -- imm dst reg,rex.w,opcode )
153 over integer? [ first3 BIN: 1 opcode-or 3array ] when ;
155 : immediate-1* ( dst imm reg,rex.w,opcode -- )
156 swap [ 1-operand ] dip 1, ;
158 : immediate-1 ( dst imm reg,rex.w,opcode -- )
159 immediate-operand-size-bit immediate-1* ;
161 : immediate-4 ( dst imm reg,rex.w,opcode -- )
162 immediate-operand-size-bit swap [ 1-operand ] dip 4, ;
164 : immediate-fits-in-size-bit ( dst imm reg,rex.w,opcode -- imm dst reg,rex.w,opcode )
165 over integer? [ first3 BIN: 10 opcode-or 3array ] when ;
167 : immediate-1/4 ( dst imm reg,rex.w,opcode -- )
168 #! If imm is a byte, compile the opcode and the byte.
169 #! Otherwise, set the 8-bit operand flag in the opcode, and
170 #! compile the cell. The 'reg' is not really a register, but
171 #! a value for the 'reg' field of the mod-r/m byte.
173 immediate-fits-in-size-bit immediate-1
178 : (2-operand) ( reg operand op -- )
179 [ 2dup t rex-prefix ] dip opcode,
180 [ reg-code ] dip addressing ;
182 : direction-bit ( dst src op -- reg operand op' )
183 pick register? pick register? not and
184 [ BIN: 10 opcode-or ] [ swapd ] if ;
186 : operand-size-bit ( reg operand op -- reg operand op' )
187 pick register-8? [ BIN: 1 opcode-or ] unless ;
189 : 2-operand ( dst src op -- )
190 direction-bit operand-size-bit
196 ! Segment override prefixes
197 : CS ( -- ) HEX: 2e , ;
198 : ES ( -- ) HEX: 26 , ;
199 : SS ( -- ) HEX: 36 , ;
200 : FS ( -- ) HEX: 64 , ;
201 : GS ( -- ) HEX: 65 , ;
204 GENERIC: PUSH ( op -- )
205 M: register PUSH f HEX: 50 short-operand ;
206 M: immediate PUSH HEX: 68 , 4, ;
207 M: operand PUSH { BIN: 110 f HEX: ff } 1-operand ;
209 GENERIC: POP ( op -- )
210 M: register POP f HEX: 58 short-operand ;
211 M: operand POP { BIN: 000 f HEX: 8f } 1-operand ;
213 ! MOV where the src is immediate.
216 GENERIC# (MOV-I) 1 ( dst src -- )
220 [ [ t HEX: b0 short-operand ] [ 1, ] bi* ]
221 [ [ t HEX: b8 short-operand ] [ cell, ] bi* ]
225 { BIN: 000 t HEX: c6 }
226 over byte? [ immediate-1 ] [ immediate-4 ] if ;
230 GENERIC: MOV ( dst src -- )
231 M: immediate MOV (MOV-I) ;
232 M: operand MOV HEX: 88 2-operand ;
234 ERROR: bad-movabs-operands dst src ;
236 GENERIC: MOVABS ( dst src -- )
237 M: object MOVABS bad-movabs-operands ;
240 { AL [ HEX: a2 , cell, ] }
241 { AX [ HEX: 66 , HEX: a3 , cell, ] }
242 { EAX [ HEX: a3 , cell, ] }
243 { RAX [ HEX: 48 , HEX: a3 , cell, ] }
244 [ swap bad-movabs-operands ]
248 { AL [ HEX: a0 , cell, ] }
249 { AX [ HEX: 66 , HEX: a1 , cell, ] }
250 { EAX [ HEX: a1 , cell, ] }
251 { RAX [ HEX: 48 , HEX: a1 , cell, ] }
252 [ swap bad-movabs-operands ]
255 : LEA ( dst src -- ) swap HEX: 8d 2-operand ;
258 GENERIC: JMP ( op -- )
259 M: integer JMP HEX: e9 , 4, ;
260 M: operand JMP { BIN: 100 t HEX: ff } 1-operand ;
262 GENERIC: CALL ( op -- )
263 M: integer CALL HEX: e8 , 4, ;
264 M: operand CALL { BIN: 010 t HEX: ff } 1-operand ;
268 GENERIC# JUMPcc 1 ( addr opcode -- )
269 M: integer JUMPcc extended-opcode, 4, ;
271 : SETcc ( dst opcode -- )
272 { BIN: 000 t } swap suffix 1-operand ;
276 : JO ( dst -- ) HEX: 80 JUMPcc ;
277 : JNO ( dst -- ) HEX: 81 JUMPcc ;
278 : JB ( dst -- ) HEX: 82 JUMPcc ;
279 : JAE ( dst -- ) HEX: 83 JUMPcc ;
280 : JE ( dst -- ) HEX: 84 JUMPcc ; ! aka JZ
281 : JNE ( dst -- ) HEX: 85 JUMPcc ;
282 : JBE ( dst -- ) HEX: 86 JUMPcc ;
283 : JA ( dst -- ) HEX: 87 JUMPcc ;
284 : JS ( dst -- ) HEX: 88 JUMPcc ;
285 : JNS ( dst -- ) HEX: 89 JUMPcc ;
286 : JP ( dst -- ) HEX: 8a JUMPcc ;
287 : JNP ( dst -- ) HEX: 8b JUMPcc ;
288 : JL ( dst -- ) HEX: 8c JUMPcc ;
289 : JGE ( dst -- ) HEX: 8d JUMPcc ;
290 : JLE ( dst -- ) HEX: 8e JUMPcc ;
291 : JG ( dst -- ) HEX: 8f JUMPcc ;
293 : SETO ( dst -- ) { HEX: 0f HEX: 90 } SETcc ;
294 : SETNO ( dst -- ) { HEX: 0f HEX: 91 } SETcc ;
295 : SETB ( dst -- ) { HEX: 0f HEX: 92 } SETcc ;
296 : SETAE ( dst -- ) { HEX: 0f HEX: 93 } SETcc ;
297 : SETE ( dst -- ) { HEX: 0f HEX: 94 } SETcc ;
298 : SETNE ( dst -- ) { HEX: 0f HEX: 95 } SETcc ;
299 : SETBE ( dst -- ) { HEX: 0f HEX: 96 } SETcc ;
300 : SETA ( dst -- ) { HEX: 0f HEX: 97 } SETcc ;
301 : SETS ( dst -- ) { HEX: 0f HEX: 98 } SETcc ;
302 : SETNS ( dst -- ) { HEX: 0f HEX: 99 } SETcc ;
303 : SETP ( dst -- ) { HEX: 0f HEX: 9a } SETcc ;
304 : SETNP ( dst -- ) { HEX: 0f HEX: 9b } SETcc ;
305 : SETL ( dst -- ) { HEX: 0f HEX: 9c } SETcc ;
306 : SETGE ( dst -- ) { HEX: 0f HEX: 9d } SETcc ;
307 : SETLE ( dst -- ) { HEX: 0f HEX: 9e } SETcc ;
308 : SETG ( dst -- ) { HEX: 0f HEX: 9f } SETcc ;
310 : LEAVE ( -- ) HEX: c9 , ;
313 dup zero? [ drop HEX: c3 , ] [ HEX: c2 , 2, ] if ;
317 GENERIC: ADD ( dst src -- )
318 M: immediate ADD { BIN: 000 t HEX: 80 } immediate-1/4 ;
319 M: operand ADD OCT: 000 2-operand ;
321 GENERIC: OR ( dst src -- )
322 M: immediate OR { BIN: 001 t HEX: 80 } immediate-1/4 ;
323 M: operand OR OCT: 010 2-operand ;
325 GENERIC: ADC ( dst src -- )
326 M: immediate ADC { BIN: 010 t HEX: 80 } immediate-1/4 ;
327 M: operand ADC OCT: 020 2-operand ;
329 GENERIC: SBB ( dst src -- )
330 M: immediate SBB { BIN: 011 t HEX: 80 } immediate-1/4 ;
331 M: operand SBB OCT: 030 2-operand ;
333 GENERIC: AND ( dst src -- )
334 M: immediate AND { BIN: 100 t HEX: 80 } immediate-1/4 ;
335 M: operand AND OCT: 040 2-operand ;
337 GENERIC: SUB ( dst src -- )
338 M: immediate SUB { BIN: 101 t HEX: 80 } immediate-1/4 ;
339 M: operand SUB OCT: 050 2-operand ;
341 GENERIC: XOR ( dst src -- )
342 M: immediate XOR { BIN: 110 t HEX: 80 } immediate-1/4 ;
343 M: operand XOR OCT: 060 2-operand ;
345 GENERIC: CMP ( dst src -- )
346 M: immediate CMP { BIN: 111 t HEX: 80 } immediate-1/4 ;
347 M: operand CMP OCT: 070 2-operand ;
349 GENERIC: TEST ( dst src -- )
350 M: immediate TEST { BIN: 0 t HEX: f7 } immediate-4 ;
351 M: operand TEST OCT: 204 2-operand ;
353 : XCHG ( dst src -- ) OCT: 207 2-operand ;
355 : BSR ( dst src -- ) { HEX: 0f HEX: bd } (2-operand) ;
357 GENERIC: BT ( value n -- )
358 M: immediate BT ( value n -- ) { BIN: 100 t { HEX: 0f HEX: ba } } immediate-1* ;
359 M: operand BT ( value n -- ) swap { HEX: 0f HEX: a3 } (2-operand) ;
361 GENERIC: BTC ( value n -- )
362 M: immediate BTC ( value n -- ) { BIN: 111 t { HEX: 0f HEX: ba } } immediate-1* ;
363 M: operand BTC ( value n -- ) swap { HEX: 0f HEX: bb } (2-operand) ;
365 GENERIC: BTR ( value n -- )
366 M: immediate BTR ( value n -- ) { BIN: 110 t { HEX: 0f HEX: ba } } immediate-1* ;
367 M: operand BTR ( value n -- ) swap { HEX: 0f HEX: b3 } (2-operand) ;
369 GENERIC: BTS ( value n -- )
370 M: immediate BTS ( value n -- ) { BIN: 101 t { HEX: 0f HEX: ba } } immediate-1* ;
371 M: operand BTS ( value n -- ) swap { HEX: 0f HEX: ab } (2-operand) ;
373 : NOT ( dst -- ) { BIN: 010 t HEX: f7 } 1-operand ;
374 : NEG ( dst -- ) { BIN: 011 t HEX: f7 } 1-operand ;
375 : MUL ( dst -- ) { BIN: 100 t HEX: f7 } 1-operand ;
376 : IMUL ( src -- ) { BIN: 101 t HEX: f7 } 1-operand ;
377 : DIV ( dst -- ) { BIN: 110 t HEX: f7 } 1-operand ;
378 : IDIV ( src -- ) { BIN: 111 t HEX: f7 } 1-operand ;
380 : CDQ ( -- ) HEX: 99 , ;
381 : CQO ( -- ) HEX: 48 , CDQ ;
385 :: (SHIFT) ( dst src op -- )
387 dst { op t HEX: d3 } 1-operand
389 dst src { op t HEX: c0 } immediate-1
394 : ROL ( dst n -- ) BIN: 000 (SHIFT) ;
395 : ROR ( dst n -- ) BIN: 001 (SHIFT) ;
396 : RCL ( dst n -- ) BIN: 010 (SHIFT) ;
397 : RCR ( dst n -- ) BIN: 011 (SHIFT) ;
398 : SHL ( dst n -- ) BIN: 100 (SHIFT) ;
399 : SHR ( dst n -- ) BIN: 101 (SHIFT) ;
400 : SAR ( dst n -- ) BIN: 111 (SHIFT) ;
402 : IMUL2 ( dst src -- )
403 OCT: 257 extended-opcode (2-operand) ;
405 : IMUL3 ( dst src imm -- )
407 [ swap HEX: 6a 2-operand ] dip 1,
409 [ swap HEX: 68 2-operand ] dip 4,
412 : MOVSX ( dst src -- )
413 dup register-32? OCT: 143 OCT: 276 extended-opcode ?
414 over register-16? [ BIN: 1 opcode-or ] when
417 : MOVZX ( dst src -- )
418 OCT: 266 extended-opcode
419 over register-16? [ BIN: 1 opcode-or ] when
423 : MOVcc ( dst src cc -- ) extended-opcode (2-operand) ;
425 : CMOVO ( dst src -- ) HEX: 40 MOVcc ;
426 : CMOVNO ( dst src -- ) HEX: 41 MOVcc ;
427 : CMOVB ( dst src -- ) HEX: 42 MOVcc ;
428 : CMOVAE ( dst src -- ) HEX: 43 MOVcc ;
429 : CMOVE ( dst src -- ) HEX: 44 MOVcc ; ! aka CMOVZ
430 : CMOVNE ( dst src -- ) HEX: 45 MOVcc ;
431 : CMOVBE ( dst src -- ) HEX: 46 MOVcc ;
432 : CMOVA ( dst src -- ) HEX: 47 MOVcc ;
433 : CMOVS ( dst src -- ) HEX: 48 MOVcc ;
434 : CMOVNS ( dst src -- ) HEX: 49 MOVcc ;
435 : CMOVP ( dst src -- ) HEX: 4a MOVcc ;
436 : CMOVNP ( dst src -- ) HEX: 4b MOVcc ;
437 : CMOVL ( dst src -- ) HEX: 4c MOVcc ;
438 : CMOVGE ( dst src -- ) HEX: 4d MOVcc ;
439 : CMOVLE ( dst src -- ) HEX: 4e MOVcc ;
440 : CMOVG ( dst src -- ) HEX: 4f MOVcc ;
444 : CPUID ( -- ) HEX: a2 extended-opcode, ;
448 : NOP ( -- ) HEX: 90 , ;
449 : PAUSE ( -- ) HEX: f3 , HEX: 90 , ;
451 : RDTSC ( -- ) HEX: 0f , HEX: 31 , ;
452 : RDPMC ( -- ) HEX: 0f , HEX: 33 , ;
454 ! x87 Floating Point Unit
456 : FSTPS ( operand -- ) { BIN: 011 f HEX: d9 } 1-operand ;
457 : FSTPL ( operand -- ) { BIN: 011 f HEX: dd } 1-operand ;
459 : FLDS ( operand -- ) { BIN: 000 f HEX: d9 } 1-operand ;
460 : FLDL ( operand -- ) { BIN: 000 f HEX: dd } 1-operand ;
462 : FNSTCW ( operand -- ) { BIN: 111 f HEX: d9 } 1-operand ;
463 : FNSTSW ( operand -- ) { BIN: 111 f HEX: dd } 1-operand ;
464 : FLDCW ( operand -- ) { BIN: 101 f HEX: d9 } 1-operand ;
466 : FNCLEX ( -- ) HEX: db , HEX: e2 , ;
467 : FNINIT ( -- ) HEX: db , HEX: e3 , ;
469 ERROR: bad-x87-operands ;
473 :: (x87-op) ( operand opcode reg -- )
477 operand reg-code bitor , ;
479 :: x87-st0-op ( src opcode reg -- )
481 [ src opcode reg (x87-op) ]
482 [ bad-x87-operands ] if ;
484 :: x87-m-st0/n-op ( dst src opcode reg -- )
486 { [ dst ST0 = src indirect? and ] [
487 src { reg f opcode } 1-operand
489 { [ dst ST0 = src register? and ] [
490 src opcode reg (x87-op)
492 { [ src ST0 = dst register? and ] [
493 dst opcode 4 + reg (x87-op)
500 : F2XM1 ( -- ) { HEX: D9 HEX: F0 } % ;
501 : FABS ( -- ) { HEX: D9 HEX: E1 } % ;
502 : FADD ( dst src -- ) HEX: D8 0 x87-m-st0/n-op ;
503 : FCHS ( -- ) { HEX: D9 HEX: E0 } % ;
505 : FCMOVB ( src -- ) HEX: DA 0 x87-st0-op ;
506 : FCMOVE ( src -- ) HEX: DA 1 x87-st0-op ;
507 : FCMOVBE ( src -- ) HEX: DA 2 x87-st0-op ;
508 : FCMOVU ( src -- ) HEX: DA 3 x87-st0-op ;
509 : FCMOVNB ( src -- ) HEX: DB 0 x87-st0-op ;
510 : FCMOVNE ( src -- ) HEX: DB 1 x87-st0-op ;
511 : FCMOVNBE ( src -- ) HEX: DB 2 x87-st0-op ;
512 : FCMOVNU ( src -- ) HEX: DB 3 x87-st0-op ;
514 : FCOMI ( src -- ) HEX: DB 6 x87-st0-op ;
515 : FUCOMI ( src -- ) HEX: DB 5 x87-st0-op ;
516 : FCOS ( -- ) { HEX: D9 HEX: FF } % ;
517 : FDECSTP ( -- ) { HEX: D9 HEX: F6 } % ;
518 : FINCSTP ( -- ) { HEX: D9 HEX: F7 } % ;
519 : FDIV ( dst src -- ) HEX: D8 6 x87-m-st0/n-op ;
520 : FDIVR ( dst src -- ) HEX: D8 7 x87-m-st0/n-op ;
522 : FILDD ( src -- ) { BIN: 000 f HEX: DB } 1-operand ;
523 : FILDQ ( src -- ) { BIN: 101 f HEX: DF } 1-operand ;
524 : FISTPD ( dst -- ) { BIN: 011 f HEX: DB } 1-operand ;
525 : FISTPQ ( dst -- ) { BIN: 111 f HEX: DF } 1-operand ;
526 : FISTTPD ( dst -- ) { BIN: 001 f HEX: DB } 1-operand ;
527 : FISTTPQ ( dst -- ) { BIN: 001 f HEX: DF } 1-operand ;
529 : FLD ( src -- ) HEX: D9 0 x87-st0-op ;
530 : FLD1 ( -- ) { HEX: D9 HEX: E8 } % ;
531 : FLDL2T ( -- ) { HEX: D9 HEX: E9 } % ;
532 : FLDL2E ( -- ) { HEX: D9 HEX: EA } % ;
533 : FLDPI ( -- ) { HEX: D9 HEX: EB } % ;
534 : FLDLG2 ( -- ) { HEX: D9 HEX: EC } % ;
535 : FLDLN2 ( -- ) { HEX: D9 HEX: ED } % ;
536 : FLDZ ( -- ) { HEX: D9 HEX: EE } % ;
538 : FMUL ( dst src -- ) HEX: D8 1 x87-m-st0/n-op ;
539 : FNOP ( -- ) { HEX: D9 HEX: D0 } % ;
540 : FPATAN ( -- ) { HEX: D9 HEX: F3 } % ;
541 : FPREM ( -- ) { HEX: D9 HEX: F8 } % ;
542 : FPREM1 ( -- ) { HEX: D9 HEX: F5 } % ;
543 : FRNDINT ( -- ) { HEX: D9 HEX: FC } % ;
544 : FSCALE ( -- ) { HEX: D9 HEX: FD } % ;
545 : FSIN ( -- ) { HEX: D9 HEX: FE } % ;
546 : FSINCOS ( -- ) { HEX: D9 HEX: FB } % ;
547 : FSQRT ( -- ) { HEX: D9 HEX: FA } % ;
549 : FSUB ( dst src -- ) HEX: D8 HEX: 4 x87-m-st0/n-op ;
550 : FSUBR ( dst src -- ) HEX: D8 HEX: 5 x87-m-st0/n-op ;
552 : FST ( src -- ) HEX: DD 2 x87-st0-op ;
553 : FSTP ( src -- ) HEX: DD 3 x87-st0-op ;
555 : FXAM ( -- ) { HEX: D9 HEX: E5 } % ;
556 : FXCH ( src -- ) HEX: D9 1 x87-st0-op ;
558 : FXTRACT ( -- ) { HEX: D9 HEX: F4 } % ;
559 : FYL2X ( -- ) { HEX: D9 HEX: F1 } % ;
560 : FYL2XP1 ( -- ) { HEX: D9 HEX: F1 } % ;
562 ! SSE multimedia instructions
566 : direction-bit-sse ( dst src op1 -- dst' src' op1' )
567 pick register-128? [ swapd BIN: 1 bitor ] unless ;
569 : 2-operand-sse ( dst src op1 op2 -- )
570 [ , ] when* direction-bit-sse extended-opcode (2-operand) ;
572 : direction-op-sse ( dst src op1s -- dst' src' op1' )
573 pick register-128? [ first ] [ swapd second ] if ;
575 : 2-operand-rm-mr-sse ( dst src op1{rm,mr} op2 -- )
576 [ , ] when* direction-op-sse extended-opcode (2-operand) ;
578 : 2-operand-rm-mr-sse* ( dst src op12{rm,mr} -- )
579 direction-op-sse first2 [ , ] when* extended-opcode (2-operand) ;
581 : 2-operand-rm-sse ( dst src op1 op2 -- )
582 [ , ] when* extended-opcode (2-operand) ;
584 : 2-operand-mr-sse ( dst src op1 op2 -- )
585 [ , ] when* extended-opcode swapd (2-operand) ;
587 : 2-operand-int/sse ( dst src op1 op2 -- )
588 [ , ] when* extended-opcode (2-operand) ;
590 :: 3-operand-rm-sse ( dst src imm op1 op2 -- )
591 dst src op1 op2 2-operand-rm-sse imm , ;
593 :: 3-operand-mr-sse ( dst src imm op1 op2 -- )
594 dst src op1 op2 2-operand-mr-sse imm , ;
596 :: 3-operand-rm-mr-sse ( dst src imm op1 op2 -- )
597 dst src op1 op2 2-operand-rm-mr-sse imm , ;
599 : 2-operand-sse-cmp ( dst src cmp op1 op2 -- )
600 3-operand-rm-sse ; inline
602 : 2-operand-sse-shift ( dst imm reg op1 op2 -- )
604 [ f HEX: 0f ] dip 2array 3array
609 : MOVUPS ( dest src -- ) HEX: 10 f 2-operand-sse ;
610 : MOVUPD ( dest src -- ) HEX: 10 HEX: 66 2-operand-sse ;
611 : MOVSD ( dest src -- ) HEX: 10 HEX: f2 2-operand-sse ;
612 : MOVSS ( dest src -- ) HEX: 10 HEX: f3 2-operand-sse ;
613 : MOVLPS ( dest src -- ) HEX: 12 f 2-operand-sse ;
614 : MOVLPD ( dest src -- ) HEX: 12 HEX: 66 2-operand-sse ;
615 : MOVDDUP ( dest src -- ) HEX: 12 HEX: f2 2-operand-rm-sse ;
616 : MOVSLDUP ( dest src -- ) HEX: 12 HEX: f3 2-operand-rm-sse ;
617 : UNPCKLPS ( dest src -- ) HEX: 14 f 2-operand-rm-sse ;
618 : UNPCKLPD ( dest src -- ) HEX: 14 HEX: 66 2-operand-rm-sse ;
619 : UNPCKHPS ( dest src -- ) HEX: 15 f 2-operand-rm-sse ;
620 : UNPCKHPD ( dest src -- ) HEX: 15 HEX: 66 2-operand-rm-sse ;
621 : MOVHPS ( dest src -- ) HEX: 16 f 2-operand-sse ;
622 : MOVHPD ( dest src -- ) HEX: 16 HEX: 66 2-operand-sse ;
623 : MOVSHDUP ( dest src -- ) HEX: 16 HEX: f3 2-operand-rm-sse ;
625 ALIAS: MOVHLPS MOVLPS
626 ALIAS: MOVLHPS MOVHPS
628 : PREFETCHNTA ( mem -- ) { BIN: 000 f { HEX: 0f HEX: 18 } } 1-operand ;
629 : PREFETCHT0 ( mem -- ) { BIN: 001 f { HEX: 0f HEX: 18 } } 1-operand ;
630 : PREFETCHT1 ( mem -- ) { BIN: 010 f { HEX: 0f HEX: 18 } } 1-operand ;
631 : PREFETCHT2 ( mem -- ) { BIN: 011 f { HEX: 0f HEX: 18 } } 1-operand ;
633 : MOVAPS ( dest src -- ) HEX: 28 f 2-operand-sse ;
634 : MOVAPD ( dest src -- ) HEX: 28 HEX: 66 2-operand-sse ;
635 : CVTSI2SD ( dest src -- ) HEX: 2a HEX: f2 2-operand-int/sse ;
636 : CVTSI2SS ( dest src -- ) HEX: 2a HEX: f3 2-operand-int/sse ;
637 : MOVNTPS ( dest src -- ) HEX: 2b f 2-operand-mr-sse ;
638 : MOVNTPD ( dest src -- ) HEX: 2b HEX: 66 2-operand-mr-sse ;
639 : CVTTSD2SI ( dest src -- ) HEX: 2c HEX: f2 2-operand-int/sse ;
640 : CVTTSS2SI ( dest src -- ) HEX: 2c HEX: f3 2-operand-int/sse ;
641 : CVTSD2SI ( dest src -- ) HEX: 2d HEX: f2 2-operand-int/sse ;
642 : CVTSS2SI ( dest src -- ) HEX: 2d HEX: f3 2-operand-int/sse ;
643 : UCOMISS ( dest src -- ) HEX: 2e f 2-operand-rm-sse ;
644 : UCOMISD ( dest src -- ) HEX: 2e HEX: 66 2-operand-rm-sse ;
645 : COMISS ( dest src -- ) HEX: 2f f 2-operand-rm-sse ;
646 : COMISD ( dest src -- ) HEX: 2f HEX: 66 2-operand-rm-sse ;
648 : PSHUFB ( dest src -- ) { HEX: 38 HEX: 00 } HEX: 66 2-operand-rm-sse ;
649 : PHADDW ( dest src -- ) { HEX: 38 HEX: 01 } HEX: 66 2-operand-rm-sse ;
650 : PHADDD ( dest src -- ) { HEX: 38 HEX: 02 } HEX: 66 2-operand-rm-sse ;
651 : PHADDSW ( dest src -- ) { HEX: 38 HEX: 03 } HEX: 66 2-operand-rm-sse ;
652 : PMADDUBSW ( dest src -- ) { HEX: 38 HEX: 04 } HEX: 66 2-operand-rm-sse ;
653 : PHSUBW ( dest src -- ) { HEX: 38 HEX: 05 } HEX: 66 2-operand-rm-sse ;
654 : PHSUBD ( dest src -- ) { HEX: 38 HEX: 06 } HEX: 66 2-operand-rm-sse ;
655 : PHSUBSW ( dest src -- ) { HEX: 38 HEX: 07 } HEX: 66 2-operand-rm-sse ;
656 : PSIGNB ( dest src -- ) { HEX: 38 HEX: 08 } HEX: 66 2-operand-rm-sse ;
657 : PSIGNW ( dest src -- ) { HEX: 38 HEX: 09 } HEX: 66 2-operand-rm-sse ;
658 : PSIGND ( dest src -- ) { HEX: 38 HEX: 0a } HEX: 66 2-operand-rm-sse ;
659 : PMULHRSW ( dest src -- ) { HEX: 38 HEX: 0b } HEX: 66 2-operand-rm-sse ;
660 : PBLENDVB ( dest src -- ) { HEX: 38 HEX: 10 } HEX: 66 2-operand-rm-sse ;
661 : BLENDVPS ( dest src -- ) { HEX: 38 HEX: 14 } HEX: 66 2-operand-rm-sse ;
662 : BLENDVPD ( dest src -- ) { HEX: 38 HEX: 15 } HEX: 66 2-operand-rm-sse ;
663 : PTEST ( dest src -- ) { HEX: 38 HEX: 17 } HEX: 66 2-operand-rm-sse ;
664 : PABSB ( dest src -- ) { HEX: 38 HEX: 1c } HEX: 66 2-operand-rm-sse ;
665 : PABSW ( dest src -- ) { HEX: 38 HEX: 1d } HEX: 66 2-operand-rm-sse ;
666 : PABSD ( dest src -- ) { HEX: 38 HEX: 1e } HEX: 66 2-operand-rm-sse ;
667 : PMOVSXBW ( dest src -- ) { HEX: 38 HEX: 20 } HEX: 66 2-operand-rm-sse ;
668 : PMOVSXBD ( dest src -- ) { HEX: 38 HEX: 21 } HEX: 66 2-operand-rm-sse ;
669 : PMOVSXBQ ( dest src -- ) { HEX: 38 HEX: 22 } HEX: 66 2-operand-rm-sse ;
670 : PMOVSXWD ( dest src -- ) { HEX: 38 HEX: 23 } HEX: 66 2-operand-rm-sse ;
671 : PMOVSXWQ ( dest src -- ) { HEX: 38 HEX: 24 } HEX: 66 2-operand-rm-sse ;
672 : PMOVSXDQ ( dest src -- ) { HEX: 38 HEX: 25 } HEX: 66 2-operand-rm-sse ;
673 : PMULDQ ( dest src -- ) { HEX: 38 HEX: 28 } HEX: 66 2-operand-rm-sse ;
674 : PCMPEQQ ( dest src -- ) { HEX: 38 HEX: 29 } HEX: 66 2-operand-rm-sse ;
675 : MOVNTDQA ( dest src -- ) { HEX: 38 HEX: 2a } HEX: 66 2-operand-rm-sse ;
676 : PACKUSDW ( dest src -- ) { HEX: 38 HEX: 2b } HEX: 66 2-operand-rm-sse ;
677 : PMOVZXBW ( dest src -- ) { HEX: 38 HEX: 30 } HEX: 66 2-operand-rm-sse ;
678 : PMOVZXBD ( dest src -- ) { HEX: 38 HEX: 31 } HEX: 66 2-operand-rm-sse ;
679 : PMOVZXBQ ( dest src -- ) { HEX: 38 HEX: 32 } HEX: 66 2-operand-rm-sse ;
680 : PMOVZXWD ( dest src -- ) { HEX: 38 HEX: 33 } HEX: 66 2-operand-rm-sse ;
681 : PMOVZXWQ ( dest src -- ) { HEX: 38 HEX: 34 } HEX: 66 2-operand-rm-sse ;
682 : PMOVZXDQ ( dest src -- ) { HEX: 38 HEX: 35 } HEX: 66 2-operand-rm-sse ;
683 : PCMPGTQ ( dest src -- ) { HEX: 38 HEX: 37 } HEX: 66 2-operand-rm-sse ;
684 : PMINSB ( dest src -- ) { HEX: 38 HEX: 38 } HEX: 66 2-operand-rm-sse ;
685 : PMINSD ( dest src -- ) { HEX: 38 HEX: 39 } HEX: 66 2-operand-rm-sse ;
686 : PMINUW ( dest src -- ) { HEX: 38 HEX: 3a } HEX: 66 2-operand-rm-sse ;
687 : PMINUD ( dest src -- ) { HEX: 38 HEX: 3b } HEX: 66 2-operand-rm-sse ;
688 : PMAXSB ( dest src -- ) { HEX: 38 HEX: 3c } HEX: 66 2-operand-rm-sse ;
689 : PMAXSD ( dest src -- ) { HEX: 38 HEX: 3d } HEX: 66 2-operand-rm-sse ;
690 : PMAXUW ( dest src -- ) { HEX: 38 HEX: 3e } HEX: 66 2-operand-rm-sse ;
691 : PMAXUD ( dest src -- ) { HEX: 38 HEX: 3f } HEX: 66 2-operand-rm-sse ;
692 : PMULLD ( dest src -- ) { HEX: 38 HEX: 40 } HEX: 66 2-operand-rm-sse ;
693 : PHMINPOSUW ( dest src -- ) { HEX: 38 HEX: 41 } HEX: 66 2-operand-rm-sse ;
694 : CRC32B ( dest src -- ) { HEX: 38 HEX: f0 } HEX: f2 2-operand-rm-sse ;
695 : CRC32 ( dest src -- ) { HEX: 38 HEX: f1 } HEX: f2 2-operand-rm-sse ;
697 : ROUNDPS ( dest src imm -- ) { HEX: 3a HEX: 08 } HEX: 66 3-operand-rm-sse ;
698 : ROUNDPD ( dest src imm -- ) { HEX: 3a HEX: 09 } HEX: 66 3-operand-rm-sse ;
699 : ROUNDSS ( dest src imm -- ) { HEX: 3a HEX: 0a } HEX: 66 3-operand-rm-sse ;
700 : ROUNDSD ( dest src imm -- ) { HEX: 3a HEX: 0b } HEX: 66 3-operand-rm-sse ;
701 : BLENDPS ( dest src imm -- ) { HEX: 3a HEX: 0c } HEX: 66 3-operand-rm-sse ;
702 : BLENDPD ( dest src imm -- ) { HEX: 3a HEX: 0d } HEX: 66 3-operand-rm-sse ;
703 : PBLENDW ( dest src imm -- ) { HEX: 3a HEX: 0e } HEX: 66 3-operand-rm-sse ;
704 : PALIGNR ( dest src imm -- ) { HEX: 3a HEX: 0f } HEX: 66 3-operand-rm-sse ;
706 : PEXTRB ( dest src imm -- ) { HEX: 3a HEX: 14 } HEX: 66 3-operand-mr-sse ;
709 : (PEXTRW-sse1) ( dest src imm -- ) HEX: c5 HEX: 66 3-operand-rm-sse ;
710 : (PEXTRW-sse4) ( dest src imm -- ) { HEX: 3a HEX: 15 } HEX: 66 3-operand-mr-sse ;
713 : PEXTRW ( dest src imm -- ) pick indirect? [ (PEXTRW-sse4) ] [ (PEXTRW-sse1) ] if ;
714 : PEXTRD ( dest src imm -- ) { HEX: 3a HEX: 16 } HEX: 66 3-operand-mr-sse ;
716 : EXTRACTPS ( dest src imm -- ) { HEX: 3a HEX: 17 } HEX: 66 3-operand-mr-sse ;
718 : PINSRB ( dest src imm -- ) { HEX: 3a HEX: 20 } HEX: 66 3-operand-rm-sse ;
719 : INSERTPS ( dest src imm -- ) { HEX: 3a HEX: 21 } HEX: 66 3-operand-rm-sse ;
720 : PINSRD ( dest src imm -- ) { HEX: 3a HEX: 22 } HEX: 66 3-operand-rm-sse ;
722 : DPPS ( dest src imm -- ) { HEX: 3a HEX: 40 } HEX: 66 3-operand-rm-sse ;
723 : DPPD ( dest src imm -- ) { HEX: 3a HEX: 41 } HEX: 66 3-operand-rm-sse ;
724 : MPSADBW ( dest src imm -- ) { HEX: 3a HEX: 42 } HEX: 66 3-operand-rm-sse ;
725 : PCMPESTRM ( dest src imm -- ) { HEX: 3a HEX: 60 } HEX: 66 3-operand-rm-sse ;
726 : PCMPESTRI ( dest src imm -- ) { HEX: 3a HEX: 61 } HEX: 66 3-operand-rm-sse ;
727 : PCMPISTRM ( dest src imm -- ) { HEX: 3a HEX: 62 } HEX: 66 3-operand-rm-sse ;
728 : PCMPISTRI ( dest src imm -- ) { HEX: 3a HEX: 63 } HEX: 66 3-operand-rm-sse ;
730 : MOVMSKPS ( dest src -- ) HEX: 50 f 2-operand-int/sse ;
731 : MOVMSKPD ( dest src -- ) HEX: 50 HEX: 66 2-operand-int/sse ;
732 : SQRTPS ( dest src -- ) HEX: 51 f 2-operand-rm-sse ;
733 : SQRTPD ( dest src -- ) HEX: 51 HEX: 66 2-operand-rm-sse ;
734 : SQRTSD ( dest src -- ) HEX: 51 HEX: f2 2-operand-rm-sse ;
735 : SQRTSS ( dest src -- ) HEX: 51 HEX: f3 2-operand-rm-sse ;
736 : RSQRTPS ( dest src -- ) HEX: 52 f 2-operand-rm-sse ;
737 : RSQRTSS ( dest src -- ) HEX: 52 HEX: f3 2-operand-rm-sse ;
738 : RCPPS ( dest src -- ) HEX: 53 f 2-operand-rm-sse ;
739 : RCPSS ( dest src -- ) HEX: 53 HEX: f3 2-operand-rm-sse ;
740 : ANDPS ( dest src -- ) HEX: 54 f 2-operand-rm-sse ;
741 : ANDPD ( dest src -- ) HEX: 54 HEX: 66 2-operand-rm-sse ;
742 : ANDNPS ( dest src -- ) HEX: 55 f 2-operand-rm-sse ;
743 : ANDNPD ( dest src -- ) HEX: 55 HEX: 66 2-operand-rm-sse ;
744 : ORPS ( dest src -- ) HEX: 56 f 2-operand-rm-sse ;
745 : ORPD ( dest src -- ) HEX: 56 HEX: 66 2-operand-rm-sse ;
746 : XORPS ( dest src -- ) HEX: 57 f 2-operand-rm-sse ;
747 : XORPD ( dest src -- ) HEX: 57 HEX: 66 2-operand-rm-sse ;
748 : ADDPS ( dest src -- ) HEX: 58 f 2-operand-rm-sse ;
749 : ADDPD ( dest src -- ) HEX: 58 HEX: 66 2-operand-rm-sse ;
750 : ADDSD ( dest src -- ) HEX: 58 HEX: f2 2-operand-rm-sse ;
751 : ADDSS ( dest src -- ) HEX: 58 HEX: f3 2-operand-rm-sse ;
752 : MULPS ( dest src -- ) HEX: 59 f 2-operand-rm-sse ;
753 : MULPD ( dest src -- ) HEX: 59 HEX: 66 2-operand-rm-sse ;
754 : MULSD ( dest src -- ) HEX: 59 HEX: f2 2-operand-rm-sse ;
755 : MULSS ( dest src -- ) HEX: 59 HEX: f3 2-operand-rm-sse ;
756 : CVTPS2PD ( dest src -- ) HEX: 5a f 2-operand-rm-sse ;
757 : CVTPD2PS ( dest src -- ) HEX: 5a HEX: 66 2-operand-rm-sse ;
758 : CVTSD2SS ( dest src -- ) HEX: 5a HEX: f2 2-operand-rm-sse ;
759 : CVTSS2SD ( dest src -- ) HEX: 5a HEX: f3 2-operand-rm-sse ;
760 : CVTDQ2PS ( dest src -- ) HEX: 5b f 2-operand-rm-sse ;
761 : CVTPS2DQ ( dest src -- ) HEX: 5b HEX: 66 2-operand-rm-sse ;
762 : CVTTPS2DQ ( dest src -- ) HEX: 5b HEX: f3 2-operand-rm-sse ;
763 : SUBPS ( dest src -- ) HEX: 5c f 2-operand-rm-sse ;
764 : SUBPD ( dest src -- ) HEX: 5c HEX: 66 2-operand-rm-sse ;
765 : SUBSD ( dest src -- ) HEX: 5c HEX: f2 2-operand-rm-sse ;
766 : SUBSS ( dest src -- ) HEX: 5c HEX: f3 2-operand-rm-sse ;
767 : MINPS ( dest src -- ) HEX: 5d f 2-operand-rm-sse ;
768 : MINPD ( dest src -- ) HEX: 5d HEX: 66 2-operand-rm-sse ;
769 : MINSD ( dest src -- ) HEX: 5d HEX: f2 2-operand-rm-sse ;
770 : MINSS ( dest src -- ) HEX: 5d HEX: f3 2-operand-rm-sse ;
771 : DIVPS ( dest src -- ) HEX: 5e f 2-operand-rm-sse ;
772 : DIVPD ( dest src -- ) HEX: 5e HEX: 66 2-operand-rm-sse ;
773 : DIVSD ( dest src -- ) HEX: 5e HEX: f2 2-operand-rm-sse ;
774 : DIVSS ( dest src -- ) HEX: 5e HEX: f3 2-operand-rm-sse ;
775 : MAXPS ( dest src -- ) HEX: 5f f 2-operand-rm-sse ;
776 : MAXPD ( dest src -- ) HEX: 5f HEX: 66 2-operand-rm-sse ;
777 : MAXSD ( dest src -- ) HEX: 5f HEX: f2 2-operand-rm-sse ;
778 : MAXSS ( dest src -- ) HEX: 5f HEX: f3 2-operand-rm-sse ;
779 : PUNPCKLBW ( dest src -- ) HEX: 60 HEX: 66 2-operand-rm-sse ;
780 : PUNPCKLWD ( dest src -- ) HEX: 61 HEX: 66 2-operand-rm-sse ;
781 : PUNPCKLDQ ( dest src -- ) HEX: 62 HEX: 66 2-operand-rm-sse ;
782 : PACKSSWB ( dest src -- ) HEX: 63 HEX: 66 2-operand-rm-sse ;
783 : PCMPGTB ( dest src -- ) HEX: 64 HEX: 66 2-operand-rm-sse ;
784 : PCMPGTW ( dest src -- ) HEX: 65 HEX: 66 2-operand-rm-sse ;
785 : PCMPGTD ( dest src -- ) HEX: 66 HEX: 66 2-operand-rm-sse ;
786 : PACKUSWB ( dest src -- ) HEX: 67 HEX: 66 2-operand-rm-sse ;
787 : PUNPCKHBW ( dest src -- ) HEX: 68 HEX: 66 2-operand-rm-sse ;
788 : PUNPCKHWD ( dest src -- ) HEX: 69 HEX: 66 2-operand-rm-sse ;
789 : PUNPCKHDQ ( dest src -- ) HEX: 6a HEX: 66 2-operand-rm-sse ;
790 : PACKSSDW ( dest src -- ) HEX: 6b HEX: 66 2-operand-rm-sse ;
791 : PUNPCKLQDQ ( dest src -- ) HEX: 6c HEX: 66 2-operand-rm-sse ;
792 : PUNPCKHQDQ ( dest src -- ) HEX: 6d HEX: 66 2-operand-rm-sse ;
794 : MOVD ( dest src -- ) { HEX: 6e HEX: 7e } HEX: 66 2-operand-rm-mr-sse ;
795 : MOVDQA ( dest src -- ) { HEX: 6f HEX: 7f } HEX: 66 2-operand-rm-mr-sse ;
796 : MOVDQU ( dest src -- ) { HEX: 6f HEX: 7f } HEX: f3 2-operand-rm-mr-sse ;
798 : MOVQ ( dest src -- )
799 { { HEX: 7e HEX: f3 } { HEX: d6 HEX: 66 } } 2-operand-rm-mr-sse* ;
803 : 2shuffler ( indexes/mask -- mask )
804 dup integer? [ first2 { 1 0 } bitfield ] unless ;
805 : 4shuffler ( indexes/mask -- mask )
806 dup integer? [ first4 { 6 4 2 0 } bitfield ] unless ;
810 : PSHUFD ( dest src imm -- ) 4shuffler HEX: 70 HEX: 66 3-operand-rm-sse ;
811 : PSHUFLW ( dest src imm -- ) 4shuffler HEX: 70 HEX: f2 3-operand-rm-sse ;
812 : PSHUFHW ( dest src imm -- ) 4shuffler HEX: 70 HEX: f3 3-operand-rm-sse ;
816 : (PSRLW-imm) ( dest imm -- ) BIN: 010 HEX: 71 HEX: 66 2-operand-sse-shift ;
817 : (PSRAW-imm) ( dest imm -- ) BIN: 100 HEX: 71 HEX: 66 2-operand-sse-shift ;
818 : (PSLLW-imm) ( dest imm -- ) BIN: 110 HEX: 71 HEX: 66 2-operand-sse-shift ;
819 : (PSRLD-imm) ( dest imm -- ) BIN: 010 HEX: 72 HEX: 66 2-operand-sse-shift ;
820 : (PSRAD-imm) ( dest imm -- ) BIN: 100 HEX: 72 HEX: 66 2-operand-sse-shift ;
821 : (PSLLD-imm) ( dest imm -- ) BIN: 110 HEX: 72 HEX: 66 2-operand-sse-shift ;
822 : (PSRLQ-imm) ( dest imm -- ) BIN: 010 HEX: 73 HEX: 66 2-operand-sse-shift ;
823 : (PSLLQ-imm) ( dest imm -- ) BIN: 110 HEX: 73 HEX: 66 2-operand-sse-shift ;
825 : (PSRLW-reg) ( dest src -- ) HEX: d1 HEX: 66 2-operand-rm-sse ;
826 : (PSRLD-reg) ( dest src -- ) HEX: d2 HEX: 66 2-operand-rm-sse ;
827 : (PSRLQ-reg) ( dest src -- ) HEX: d3 HEX: 66 2-operand-rm-sse ;
828 : (PSRAW-reg) ( dest src -- ) HEX: e1 HEX: 66 2-operand-rm-sse ;
829 : (PSRAD-reg) ( dest src -- ) HEX: e2 HEX: 66 2-operand-rm-sse ;
830 : (PSLLW-reg) ( dest src -- ) HEX: f1 HEX: 66 2-operand-rm-sse ;
831 : (PSLLD-reg) ( dest src -- ) HEX: f2 HEX: 66 2-operand-rm-sse ;
832 : (PSLLQ-reg) ( dest src -- ) HEX: f3 HEX: 66 2-operand-rm-sse ;
836 : PSRLW ( dest src -- ) dup integer? [ (PSRLW-imm) ] [ (PSRLW-reg) ] if ;
837 : PSRAW ( dest src -- ) dup integer? [ (PSRAW-imm) ] [ (PSRAW-reg) ] if ;
838 : PSLLW ( dest src -- ) dup integer? [ (PSLLW-imm) ] [ (PSLLW-reg) ] if ;
839 : PSRLD ( dest src -- ) dup integer? [ (PSRLD-imm) ] [ (PSRLD-reg) ] if ;
840 : PSRAD ( dest src -- ) dup integer? [ (PSRAD-imm) ] [ (PSRAD-reg) ] if ;
841 : PSLLD ( dest src -- ) dup integer? [ (PSLLD-imm) ] [ (PSLLD-reg) ] if ;
842 : PSRLQ ( dest src -- ) dup integer? [ (PSRLQ-imm) ] [ (PSRLQ-reg) ] if ;
843 : PSLLQ ( dest src -- ) dup integer? [ (PSLLQ-imm) ] [ (PSLLQ-reg) ] if ;
845 : PSRLDQ ( dest imm -- ) BIN: 011 HEX: 73 HEX: 66 2-operand-sse-shift ;
846 : PSLLDQ ( dest imm -- ) BIN: 111 HEX: 73 HEX: 66 2-operand-sse-shift ;
848 : PCMPEQB ( dest src -- ) HEX: 74 HEX: 66 2-operand-rm-sse ;
849 : PCMPEQW ( dest src -- ) HEX: 75 HEX: 66 2-operand-rm-sse ;
850 : PCMPEQD ( dest src -- ) HEX: 76 HEX: 66 2-operand-rm-sse ;
851 : HADDPD ( dest src -- ) HEX: 7c HEX: 66 2-operand-rm-sse ;
852 : HADDPS ( dest src -- ) HEX: 7c HEX: f2 2-operand-rm-sse ;
853 : HSUBPD ( dest src -- ) HEX: 7d HEX: 66 2-operand-rm-sse ;
854 : HSUBPS ( dest src -- ) HEX: 7d HEX: f2 2-operand-rm-sse ;
856 : FXSAVE ( dest -- ) { BIN: 000 f { HEX: 0f HEX: ae } } 1-operand ;
857 : FXRSTOR ( src -- ) { BIN: 001 f { HEX: 0f HEX: ae } } 1-operand ;
858 : LDMXCSR ( src -- ) { BIN: 010 f { HEX: 0f HEX: ae } } 1-operand ;
859 : STMXCSR ( dest -- ) { BIN: 011 f { HEX: 0f HEX: ae } } 1-operand ;
860 : LFENCE ( -- ) HEX: 0f , HEX: ae , OCT: 350 , ;
861 : MFENCE ( -- ) HEX: 0f , HEX: ae , OCT: 360 , ;
862 : SFENCE ( -- ) HEX: 0f , HEX: ae , OCT: 370 , ;
863 : CLFLUSH ( dest -- ) { BIN: 111 f { HEX: 0f HEX: ae } } 1-operand ;
865 : POPCNT ( dest src -- ) HEX: b8 HEX: f3 2-operand-rm-sse ;
867 : CMPEQPS ( dest src -- ) 0 HEX: c2 f 2-operand-sse-cmp ;
868 : CMPLTPS ( dest src -- ) 1 HEX: c2 f 2-operand-sse-cmp ;
869 : CMPLEPS ( dest src -- ) 2 HEX: c2 f 2-operand-sse-cmp ;
870 : CMPUNORDPS ( dest src -- ) 3 HEX: c2 f 2-operand-sse-cmp ;
871 : CMPNEQPS ( dest src -- ) 4 HEX: c2 f 2-operand-sse-cmp ;
872 : CMPNLTPS ( dest src -- ) 5 HEX: c2 f 2-operand-sse-cmp ;
873 : CMPNLEPS ( dest src -- ) 6 HEX: c2 f 2-operand-sse-cmp ;
874 : CMPORDPS ( dest src -- ) 7 HEX: c2 f 2-operand-sse-cmp ;
876 : CMPEQPD ( dest src -- ) 0 HEX: c2 HEX: 66 2-operand-sse-cmp ;
877 : CMPLTPD ( dest src -- ) 1 HEX: c2 HEX: 66 2-operand-sse-cmp ;
878 : CMPLEPD ( dest src -- ) 2 HEX: c2 HEX: 66 2-operand-sse-cmp ;
879 : CMPUNORDPD ( dest src -- ) 3 HEX: c2 HEX: 66 2-operand-sse-cmp ;
880 : CMPNEQPD ( dest src -- ) 4 HEX: c2 HEX: 66 2-operand-sse-cmp ;
881 : CMPNLTPD ( dest src -- ) 5 HEX: c2 HEX: 66 2-operand-sse-cmp ;
882 : CMPNLEPD ( dest src -- ) 6 HEX: c2 HEX: 66 2-operand-sse-cmp ;
883 : CMPORDPD ( dest src -- ) 7 HEX: c2 HEX: 66 2-operand-sse-cmp ;
885 : CMPEQSD ( dest src -- ) 0 HEX: c2 HEX: f2 2-operand-sse-cmp ;
886 : CMPLTSD ( dest src -- ) 1 HEX: c2 HEX: f2 2-operand-sse-cmp ;
887 : CMPLESD ( dest src -- ) 2 HEX: c2 HEX: f2 2-operand-sse-cmp ;
888 : CMPUNORDSD ( dest src -- ) 3 HEX: c2 HEX: f2 2-operand-sse-cmp ;
889 : CMPNEQSD ( dest src -- ) 4 HEX: c2 HEX: f2 2-operand-sse-cmp ;
890 : CMPNLTSD ( dest src -- ) 5 HEX: c2 HEX: f2 2-operand-sse-cmp ;
891 : CMPNLESD ( dest src -- ) 6 HEX: c2 HEX: f2 2-operand-sse-cmp ;
892 : CMPORDSD ( dest src -- ) 7 HEX: c2 HEX: f2 2-operand-sse-cmp ;
894 : CMPEQSS ( dest src -- ) 0 HEX: c2 HEX: f3 2-operand-sse-cmp ;
895 : CMPLTSS ( dest src -- ) 1 HEX: c2 HEX: f3 2-operand-sse-cmp ;
896 : CMPLESS ( dest src -- ) 2 HEX: c2 HEX: f3 2-operand-sse-cmp ;
897 : CMPUNORDSS ( dest src -- ) 3 HEX: c2 HEX: f3 2-operand-sse-cmp ;
898 : CMPNEQSS ( dest src -- ) 4 HEX: c2 HEX: f3 2-operand-sse-cmp ;
899 : CMPNLTSS ( dest src -- ) 5 HEX: c2 HEX: f3 2-operand-sse-cmp ;
900 : CMPNLESS ( dest src -- ) 6 HEX: c2 HEX: f3 2-operand-sse-cmp ;
901 : CMPORDSS ( dest src -- ) 7 HEX: c2 HEX: f3 2-operand-sse-cmp ;
903 : MOVNTI ( dest src -- ) swap { HEX: 0f HEX: c3 } (2-operand) ;
905 : PINSRW ( dest src imm -- ) HEX: c4 HEX: 66 3-operand-rm-sse ;
906 : SHUFPS ( dest src imm -- ) 4shuffler HEX: c6 f 3-operand-rm-sse ;
907 : SHUFPD ( dest src imm -- ) 2shuffler HEX: c6 HEX: 66 3-operand-rm-sse ;
909 : ADDSUBPD ( dest src -- ) HEX: d0 HEX: 66 2-operand-rm-sse ;
910 : ADDSUBPS ( dest src -- ) HEX: d0 HEX: f2 2-operand-rm-sse ;
911 : PADDQ ( dest src -- ) HEX: d4 HEX: 66 2-operand-rm-sse ;
912 : PMULLW ( dest src -- ) HEX: d5 HEX: 66 2-operand-rm-sse ;
913 : PMOVMSKB ( dest src -- ) HEX: d7 HEX: 66 2-operand-rm-sse ;
914 : PSUBUSB ( dest src -- ) HEX: d8 HEX: 66 2-operand-rm-sse ;
915 : PSUBUSW ( dest src -- ) HEX: d9 HEX: 66 2-operand-rm-sse ;
916 : PMINUB ( dest src -- ) HEX: da HEX: 66 2-operand-rm-sse ;
917 : PAND ( dest src -- ) HEX: db HEX: 66 2-operand-rm-sse ;
918 : PADDUSB ( dest src -- ) HEX: dc HEX: 66 2-operand-rm-sse ;
919 : PADDUSW ( dest src -- ) HEX: dd HEX: 66 2-operand-rm-sse ;
920 : PMAXUB ( dest src -- ) HEX: de HEX: 66 2-operand-rm-sse ;
921 : PANDN ( dest src -- ) HEX: df HEX: 66 2-operand-rm-sse ;
922 : PAVGB ( dest src -- ) HEX: e0 HEX: 66 2-operand-rm-sse ;
923 : PAVGW ( dest src -- ) HEX: e3 HEX: 66 2-operand-rm-sse ;
924 : PMULHUW ( dest src -- ) HEX: e4 HEX: 66 2-operand-rm-sse ;
925 : PMULHW ( dest src -- ) HEX: e5 HEX: 66 2-operand-rm-sse ;
926 : CVTTPD2DQ ( dest src -- ) HEX: e6 HEX: 66 2-operand-rm-sse ;
927 : CVTPD2DQ ( dest src -- ) HEX: e6 HEX: f2 2-operand-rm-sse ;
928 : CVTDQ2PD ( dest src -- ) HEX: e6 HEX: f3 2-operand-rm-sse ;
930 : MOVNTDQ ( dest src -- ) HEX: e7 HEX: 66 2-operand-mr-sse ;
932 : PSUBSB ( dest src -- ) HEX: e8 HEX: 66 2-operand-rm-sse ;
933 : PSUBSW ( dest src -- ) HEX: e9 HEX: 66 2-operand-rm-sse ;
934 : PMINSW ( dest src -- ) HEX: ea HEX: 66 2-operand-rm-sse ;
935 : POR ( dest src -- ) HEX: eb HEX: 66 2-operand-rm-sse ;
936 : PADDSB ( dest src -- ) HEX: ec HEX: 66 2-operand-rm-sse ;
937 : PADDSW ( dest src -- ) HEX: ed HEX: 66 2-operand-rm-sse ;
938 : PMAXSW ( dest src -- ) HEX: ee HEX: 66 2-operand-rm-sse ;
939 : PXOR ( dest src -- ) HEX: ef HEX: 66 2-operand-rm-sse ;
940 : LDDQU ( dest src -- ) HEX: f0 HEX: f2 2-operand-rm-sse ;
941 : PMULUDQ ( dest src -- ) HEX: f4 HEX: 66 2-operand-rm-sse ;
942 : PMADDWD ( dest src -- ) HEX: f5 HEX: 66 2-operand-rm-sse ;
943 : PSADBW ( dest src -- ) HEX: f6 HEX: 66 2-operand-rm-sse ;
944 : MASKMOVDQU ( dest src -- ) HEX: f7 HEX: 66 2-operand-rm-sse ;
945 : PSUBB ( dest src -- ) HEX: f8 HEX: 66 2-operand-rm-sse ;
946 : PSUBW ( dest src -- ) HEX: f9 HEX: 66 2-operand-rm-sse ;
947 : PSUBD ( dest src -- ) HEX: fa HEX: 66 2-operand-rm-sse ;
948 : PSUBQ ( dest src -- ) HEX: fb HEX: 66 2-operand-rm-sse ;
949 : PADDB ( dest src -- ) HEX: fc HEX: 66 2-operand-rm-sse ;
950 : PADDW ( dest src -- ) HEX: fd HEX: 66 2-operand-rm-sse ;
951 : PADDD ( dest src -- ) HEX: fe HEX: 66 2-operand-rm-sse ;
953 ! x86-64 branch prediction hints
955 : HWNT ( -- ) HEX: 2e , ; ! Hint branch Weakly Not Taken
956 : HST ( -- ) HEX: 3e , ; ! Hint branch Strongly Taken
958 ! interrupt instructions
960 : INT ( n -- ) dup 3 = [ drop HEX: cc , ] [ HEX: cd , 1, ] if ;
964 : PUSHF ( -- ) HEX: 9c , ;
965 : POPF ( -- ) HEX: 9d , ;