1 ! Copyright (C) 2005, 2009 Slava Pestov.
2 ! See http://factorcode.org/license.txt for BSD license.
3 USING: arrays io.binary kernel combinators kernel.private math
4 namespaces make sequences words system layouts math.order accessors
5 cpu.x86.assembler.syntax ;
9 ! A postfix assembler for x86-32 and x86-64.
11 ! In 32-bit mode, { 1234 } is absolute indirect addressing.
12 ! In 64-bit mode, { 1234 } is RIP-relative.
15 ! Register operands -- eg, ECX
16 REGISTERS: 8 AL CL DL BL SPL BPL SIL DIL R8B R9B R10B R11B R12B R13B R14B R15B ;
23 REGISTERS: 16 AX CX DX BX SP BP SI DI R8W R9W R10W R11W R12W R13W R14W R15W ;
25 REGISTERS: 32 EAX ECX EDX EBX ESP EBP ESI EDI R8D R9D R10D R11D R12D R13D R14D R15D ;
28 RAX RCX RDX RBX RSP RBP RSI RDI R8 R9 R10 R11 R12 R13 R14 R15 ;
31 XMM0 XMM1 XMM2 XMM3 XMM4 XMM5 XMM6 XMM7
32 XMM8 XMM9 XMM10 XMM11 XMM12 XMM13 XMM14 XMM15 ;
40 #! Extended AMD64 registers (R8-R15) return true.
41 GENERIC: extended? ( op -- ? )
43 M: object extended? drop f ;
45 PREDICATE: register < word
46 "register" word-prop ;
48 PREDICATE: register-8 < register
49 "register-size" word-prop 8 = ;
51 PREDICATE: register-16 < register
52 "register-size" word-prop 16 = ;
54 PREDICATE: register-32 < register
55 "register-size" word-prop 32 = ;
57 PREDICATE: register-64 < register
58 "register-size" word-prop 64 = ;
60 PREDICATE: register-128 < register
61 "register-size" word-prop 128 = ;
63 M: register extended? "register" word-prop 7 > ;
66 TUPLE: indirect base index scale displacement ;
68 M: indirect extended? base>> extended? ;
70 : canonicalize-EBP ( indirect -- indirect )
71 #! { EBP } ==> { EBP 0 }
72 dup [ base>> { EBP RBP R13 } member? ] [ displacement>> not ] bi and
73 [ 0 >>displacement ] when ;
75 ERROR: bad-index indirect ;
77 : check-ESP ( indirect -- indirect )
78 dup index>> { ESP RSP } memq? [ bad-index ] when ;
80 : canonicalize ( indirect -- indirect )
81 #! Modify the indirect to work around certain addressing mode
83 canonicalize-EBP check-ESP ;
85 : <indirect> ( base index scale displacement -- indirect )
86 indirect boa canonicalize ;
88 : reg-code ( reg -- n ) "register" word-prop 7 bitand ;
90 : indirect-base* ( op -- n ) base>> EBP or reg-code ;
92 : indirect-index* ( op -- n ) index>> ESP or reg-code ;
94 : indirect-scale* ( op -- n ) scale>> 0 or ;
96 GENERIC: sib-present? ( op -- ? )
98 M: indirect sib-present?
99 [ base>> { ESP RSP R12 } member? ] [ index>> ] [ scale>> ] tri or or ;
101 M: register sib-present? drop f ;
103 GENERIC: r/m ( operand -- n )
107 [ drop ESP reg-code ] [ indirect-base* ] if ;
109 M: register r/m reg-code ;
112 UNION: immediate byte integer ;
114 GENERIC: fits-in-byte? ( value -- ? )
116 M: byte fits-in-byte? drop t ;
118 M: integer fits-in-byte? -128 127 between? ;
120 GENERIC: modifier ( op -- n )
125 { [ dup not ] [ BIN: 00 ] }
126 { [ dup fits-in-byte? ] [ BIN: 01 ] }
127 { [ dup immediate? ] [ BIN: 10 ] }
133 M: register modifier drop BIN: 11 ;
135 GENERIC# n, 1 ( value n -- )
137 M: integer n, >le % ;
138 M: byte n, [ value>> ] dip n, ;
139 : 1, ( n -- ) 1 n, ; inline
140 : 4, ( n -- ) 4 n, ; inline
141 : 2, ( n -- ) 2 n, ; inline
142 : cell, ( n -- ) bootstrap-cell n, ; inline
144 : mod-r/m, ( reg# indirect -- )
145 [ 3 shift ] [ [ modifier 6 shift ] [ r/m ] bi ] bi* bitor bitor , ;
147 : sib, ( indirect -- )
150 [ indirect-index* 3 shift ]
151 [ indirect-scale* 6 shift ] tri bitor bitor ,
156 GENERIC: displacement, ( op -- )
158 M: indirect displacement,
159 dup displacement>> dup [
161 [ dup fits-in-byte? [ , ] [ 4, ] if ] [ 4, ] if
166 M: register displacement, drop ;
168 : addressing ( reg# indirect -- )
169 [ mod-r/m, ] [ sib, ] [ displacement, ] tri ;
172 UNION: operand register indirect ;
174 GENERIC: operand-64? ( operand -- ? )
176 M: indirect operand-64?
177 [ base>> ] [ index>> ] bi [ operand-64? ] either? ;
179 M: register-64 operand-64? drop t ;
181 M: object operand-64? drop f ;
183 : rex.w? ( rex.w reg r/m -- ? )
185 { [ dup register-128? ] [ drop operand-64? ] }
186 { [ dup not ] [ drop operand-64? ] }
190 : rex.r ( m op -- n )
191 extended? [ BIN: 00000100 bitor ] when ;
193 : rex.b ( m op -- n )
194 [ extended? [ BIN: 00000001 bitor ] when ] keep
196 index>> extended? [ BIN: 00000010 bitor ] when
201 : rex-prefix ( reg r/m rex.w -- )
202 #! Compile an AMD64 REX prefix.
203 2over rex.w? BIN: 01001000 BIN: 01000000 ?
204 swap rex.r swap rex.b
205 dup BIN: 01000000 = [ drop ] [ , ] if ;
207 : 16-prefix ( reg r/m -- )
208 [ register-16? ] either? [ HEX: 66 , ] when ;
210 : prefix ( reg r/m rex.w -- ) 2over 16-prefix rex-prefix ;
212 : prefix-1 ( reg rex.w -- ) f swap prefix ;
214 : short-operand ( reg rex.w n -- )
215 #! Some instructions encode their single operand as part of
217 [ dupd prefix-1 reg-code ] dip + , ;
219 : opcode, ( opcode -- ) dup array? [ % ] [ , ] if ;
221 : extended-opcode ( opcode -- opcode' )
222 dup array? [ OCT: 17 sequences:prefix ] [ OCT: 17 swap 2array ] if ;
224 : extended-opcode, ( opcode -- ) extended-opcode opcode, ;
226 : opcode-or ( opcode mask -- opcode' )
228 [ unclip-last rot bitor suffix ] [ bitor ] if ;
230 : 1-operand ( op reg,rex.w,opcode -- )
231 #! The 'reg' is not really a register, but a value for the
232 #! 'reg' field of the mod-r/m byte.
233 first3 [ [ over ] dip prefix-1 ] dip opcode, swap addressing ;
235 : immediate-operand-size-bit ( imm dst reg,rex.w,opcode -- imm dst reg,rex.w,opcode )
236 pick integer? [ first3 BIN: 1 opcode-or 3array ] when ;
238 : immediate-1 ( imm dst reg,rex.w,opcode -- )
239 immediate-operand-size-bit 1-operand 1, ;
241 : immediate-4 ( imm dst reg,rex.w,opcode -- )
242 immediate-operand-size-bit 1-operand 4, ;
244 : immediate-fits-in-size-bit ( imm dst reg,rex.w,opcode -- imm dst reg,rex.w,opcode )
245 pick integer? [ first3 BIN: 10 opcode-or 3array ] when ;
247 : immediate-1/4 ( imm dst reg,rex.w,opcode -- )
248 #! If imm is a byte, compile the opcode and the byte.
249 #! Otherwise, set the 8-bit operand flag in the opcode, and
250 #! compile the cell. The 'reg' is not really a register, but
251 #! a value for the 'reg' field of the mod-r/m byte.
253 immediate-fits-in-size-bit immediate-1
258 : (2-operand) ( dst src op -- )
259 [ 2dup t rex-prefix ] dip opcode,
260 reg-code swap addressing ;
262 : direction-bit ( dst src op -- dst' src' op' )
263 pick register? pick register? not and
264 [ BIN: 10 opcode-or swapd ] when ;
266 : operand-size-bit ( dst src op -- dst' src' op' )
267 over register-8? [ BIN: 1 opcode-or ] unless ;
269 : 2-operand ( dst src op -- )
270 #! Sets the opcode's direction bit. It is set if the
271 #! destination is a direct register operand.
279 : [] ( reg/displacement -- indirect )
280 dup integer? [ [ f f f ] dip ] [ f f f ] if <indirect> ;
282 : [+] ( reg displacement -- indirect )
284 [ dup zero? [ drop f ] when [ f f ] dip ]
289 GENERIC: PUSH ( op -- )
290 M: register PUSH f HEX: 50 short-operand ;
291 M: immediate PUSH HEX: 68 , 4, ;
292 M: operand PUSH { BIN: 110 f HEX: ff } 1-operand ;
294 GENERIC: POP ( op -- )
295 M: register POP f HEX: 58 short-operand ;
296 M: operand POP { BIN: 000 f HEX: 8f } 1-operand ;
298 ! MOV where the src is immediate.
299 GENERIC: (MOV-I) ( src dst -- )
300 M: register (MOV-I) t HEX: b8 short-operand cell, ;
302 { BIN: 000 t HEX: c6 }
303 pick byte? [ immediate-1 ] [ immediate-4 ] if ;
305 GENERIC: MOV ( dst src -- )
306 M: immediate MOV swap (MOV-I) ;
307 M: operand MOV HEX: 88 2-operand ;
309 : LEA ( dst src -- ) swap HEX: 8d 2-operand ;
312 GENERIC: JMP ( op -- )
313 M: integer JMP HEX: e9 , 4, ;
314 M: operand JMP { BIN: 100 t HEX: ff } 1-operand ;
316 GENERIC: CALL ( op -- )
317 M: integer CALL HEX: e8 , 4, ;
318 M: operand CALL { BIN: 010 t HEX: ff } 1-operand ;
320 GENERIC# JUMPcc 1 ( addr opcode -- )
321 M: integer JUMPcc extended-opcode, 4, ;
323 : JO ( dst -- ) HEX: 80 JUMPcc ;
324 : JNO ( dst -- ) HEX: 81 JUMPcc ;
325 : JB ( dst -- ) HEX: 82 JUMPcc ;
326 : JAE ( dst -- ) HEX: 83 JUMPcc ;
327 : JE ( dst -- ) HEX: 84 JUMPcc ; ! aka JZ
328 : JNE ( dst -- ) HEX: 85 JUMPcc ;
329 : JBE ( dst -- ) HEX: 86 JUMPcc ;
330 : JA ( dst -- ) HEX: 87 JUMPcc ;
331 : JS ( dst -- ) HEX: 88 JUMPcc ;
332 : JNS ( dst -- ) HEX: 89 JUMPcc ;
333 : JP ( dst -- ) HEX: 8a JUMPcc ;
334 : JNP ( dst -- ) HEX: 8b JUMPcc ;
335 : JL ( dst -- ) HEX: 8c JUMPcc ;
336 : JGE ( dst -- ) HEX: 8d JUMPcc ;
337 : JLE ( dst -- ) HEX: 8e JUMPcc ;
338 : JG ( dst -- ) HEX: 8f JUMPcc ;
340 : LEAVE ( -- ) HEX: c9 , ;
343 dup zero? [ drop HEX: c3 , ] [ HEX: c2 , 2, ] if ;
347 GENERIC: ADD ( dst src -- )
348 M: immediate ADD swap { BIN: 000 t HEX: 80 } immediate-1/4 ;
349 M: operand ADD OCT: 000 2-operand ;
351 GENERIC: OR ( dst src -- )
352 M: immediate OR swap { BIN: 001 t HEX: 80 } immediate-1/4 ;
353 M: operand OR OCT: 010 2-operand ;
355 GENERIC: ADC ( dst src -- )
356 M: immediate ADC swap { BIN: 010 t HEX: 80 } immediate-1/4 ;
357 M: operand ADC OCT: 020 2-operand ;
359 GENERIC: SBB ( dst src -- )
360 M: immediate SBB swap { BIN: 011 t HEX: 80 } immediate-1/4 ;
361 M: operand SBB OCT: 030 2-operand ;
363 GENERIC: AND ( dst src -- )
364 M: immediate AND swap { BIN: 100 t HEX: 80 } immediate-1/4 ;
365 M: operand AND OCT: 040 2-operand ;
367 GENERIC: SUB ( dst src -- )
368 M: immediate SUB swap { BIN: 101 t HEX: 80 } immediate-1/4 ;
369 M: operand SUB OCT: 050 2-operand ;
371 GENERIC: XOR ( dst src -- )
372 M: immediate XOR swap { BIN: 110 t HEX: 80 } immediate-1/4 ;
373 M: operand XOR OCT: 060 2-operand ;
375 GENERIC: CMP ( dst src -- )
376 M: immediate CMP swap { BIN: 111 t HEX: 80 } immediate-1/4 ;
377 M: operand CMP OCT: 070 2-operand ;
379 GENERIC: TEST ( dst src -- )
380 M: immediate TEST swap { BIN: 0 t HEX: f7 } immediate-4 ;
381 M: operand TEST OCT: 204 2-operand ;
383 : XCHG ( dst src -- ) OCT: 207 2-operand ;
385 : BSR ( dst src -- ) swap { HEX: 0f HEX: bd } (2-operand) ;
387 : NOT ( dst -- ) { BIN: 010 t HEX: f7 } 1-operand ;
388 : NEG ( dst -- ) { BIN: 011 t HEX: f7 } 1-operand ;
389 : MUL ( dst -- ) { BIN: 100 t HEX: f7 } 1-operand ;
390 : IMUL ( src -- ) { BIN: 101 t HEX: f7 } 1-operand ;
391 : DIV ( dst -- ) { BIN: 110 t HEX: f7 } 1-operand ;
392 : IDIV ( src -- ) { BIN: 111 t HEX: f7 } 1-operand ;
394 : CDQ ( -- ) HEX: 99 , ;
395 : CQO ( -- ) HEX: 48 , CDQ ;
397 : (SHIFT) ( dst src op -- )
399 nip t HEX: d3 3array 1-operand
401 swapd t HEX: c0 3array immediate-1
404 : ROL ( dst n -- ) BIN: 000 (SHIFT) ;
405 : ROR ( dst n -- ) BIN: 001 (SHIFT) ;
406 : RCL ( dst n -- ) BIN: 010 (SHIFT) ;
407 : RCR ( dst n -- ) BIN: 011 (SHIFT) ;
408 : SHL ( dst n -- ) BIN: 100 (SHIFT) ;
409 : SHR ( dst n -- ) BIN: 101 (SHIFT) ;
410 : SAR ( dst n -- ) BIN: 111 (SHIFT) ;
412 : IMUL2 ( dst src -- )
413 OCT: 257 extended-opcode (2-operand) ;
415 : IMUL3 ( dst src imm -- )
417 [ swap HEX: 6a 2-operand ] dip 1,
419 [ swap HEX: 68 2-operand ] dip 4,
422 : MOVSX ( dst src -- )
424 over register-32? OCT: 143 OCT: 276 extended-opcode ?
425 pick register-16? [ BIN: 1 opcode-or ] when
428 : MOVZX ( dst src -- )
430 OCT: 266 extended-opcode
431 pick register-16? [ BIN: 1 opcode-or ] when
435 : MOVcc ( dst src cc -- ) extended-opcode swapd (2-operand) ;
437 : CMOVO ( dst src -- ) HEX: 40 MOVcc ;
438 : CMOVNO ( dst src -- ) HEX: 41 MOVcc ;
439 : CMOVB ( dst src -- ) HEX: 42 MOVcc ;
440 : CMOVAE ( dst src -- ) HEX: 43 MOVcc ;
441 : CMOVE ( dst src -- ) HEX: 44 MOVcc ; ! aka CMOVZ
442 : CMOVNE ( dst src -- ) HEX: 45 MOVcc ;
443 : CMOVBE ( dst src -- ) HEX: 46 MOVcc ;
444 : CMOVA ( dst src -- ) HEX: 47 MOVcc ;
445 : CMOVS ( dst src -- ) HEX: 48 MOVcc ;
446 : CMOVNS ( dst src -- ) HEX: 49 MOVcc ;
447 : CMOVP ( dst src -- ) HEX: 4a MOVcc ;
448 : CMOVNP ( dst src -- ) HEX: 4b MOVcc ;
449 : CMOVL ( dst src -- ) HEX: 4c MOVcc ;
450 : CMOVGE ( dst src -- ) HEX: 4d MOVcc ;
451 : CMOVLE ( dst src -- ) HEX: 4e MOVcc ;
452 : CMOVG ( dst src -- ) HEX: 4f MOVcc ;
456 : CPUID ( -- ) HEX: a2 extended-opcode, ;
460 : NOP ( -- ) HEX: 90 , ;
461 : PAUSE ( -- ) HEX: f3 , HEX: 90 , ;
463 : RDPMC ( -- ) HEX: 0f , HEX: 33 , ;
465 ! x87 Floating Point Unit
467 : FSTPS ( operand -- ) { BIN: 011 f HEX: d9 } 1-operand ;
468 : FSTPL ( operand -- ) { BIN: 011 f HEX: dd } 1-operand ;
470 : FLDS ( operand -- ) { BIN: 000 f HEX: d9 } 1-operand ;
471 : FLDL ( operand -- ) { BIN: 000 f HEX: dd } 1-operand ;
473 ! SSE multimedia instructions
477 : direction-bit-sse ( dst src op1 -- dst' src' op1' )
478 pick register-128? [ swapd ] [ BIN: 1 bitor ] if ;
480 : 2-operand-sse ( dst src op1 op2 -- )
481 [ , ] when* direction-bit-sse extended-opcode (2-operand) ;
483 : direction-op-sse ( dst src op1s -- dst' src' op1' )
484 pick register-128? [ swapd first ] [ second ] if ;
486 : 2-operand-rm-mr-sse ( dst src op1{rm,mr} op2 -- )
487 [ , ] when* direction-op-sse extended-opcode (2-operand) ;
489 : 2-operand-rm-sse ( dst src op1 op2 -- )
490 [ , ] when* swapd extended-opcode (2-operand) ;
492 : 2-operand-mr-sse ( dst src op1 op2 -- )
493 [ , ] when* extended-opcode (2-operand) ;
495 : 2-operand-int/sse ( dst src op1 op2 -- )
496 [ , ] when* swapd extended-opcode (2-operand) ;
498 : 3-operand-rm-sse ( dst src imm op1 op2 -- )
499 rot [ 2-operand-rm-sse ] dip , ;
501 : 3-operand-mr-sse ( dst src imm op1 op2 -- )
502 rot [ 2-operand-mr-sse ] dip , ;
504 : 3-operand-rm-mr-sse ( dst src imm op1 op2 -- )
505 rot [ 2-operand-rm-mr-sse ] dip , ;
507 : 2-operand-sse-cmp ( dst src cmp op1 op2 -- )
508 3-operand-rm-sse ; inline
510 : 2-operand-sse-shift ( dst imm reg op1 op2 -- )
512 [ f HEX: 0f ] dip 2array 3array
517 : MOVUPS ( dest src -- ) HEX: 10 f 2-operand-sse ;
518 : MOVUPD ( dest src -- ) HEX: 10 HEX: 66 2-operand-sse ;
519 : MOVSD ( dest src -- ) HEX: 10 HEX: f2 2-operand-sse ;
520 : MOVSS ( dest src -- ) HEX: 10 HEX: f3 2-operand-sse ;
521 : MOVLPS ( dest src -- ) HEX: 12 f 2-operand-sse ;
522 : MOVLPD ( dest src -- ) HEX: 12 HEX: 66 2-operand-sse ;
523 : MOVDDUP ( dest src -- ) HEX: 12 HEX: f2 2-operand-rm-sse ;
524 : MOVSLDUP ( dest src -- ) HEX: 12 HEX: f3 2-operand-rm-sse ;
525 : UNPCKLPS ( dest src -- ) HEX: 14 f 2-operand-rm-sse ;
526 : UNPCKLPD ( dest src -- ) HEX: 14 HEX: 66 2-operand-rm-sse ;
527 : UNPCKHPS ( dest src -- ) HEX: 15 f 2-operand-rm-sse ;
528 : UNPCKHPD ( dest src -- ) HEX: 15 HEX: 66 2-operand-rm-sse ;
529 : MOVHPS ( dest src -- ) HEX: 16 f 2-operand-sse ;
530 : MOVHPD ( dest src -- ) HEX: 16 HEX: 66 2-operand-sse ;
531 : MOVSHDUP ( dest src -- ) HEX: 16 HEX: f3 2-operand-rm-sse ;
533 : PREFETCHNTA ( mem -- ) { BIN: 000 f { HEX: 0f HEX: 18 } } 1-operand ;
534 : PREFETCHT0 ( mem -- ) { BIN: 001 f { HEX: 0f HEX: 18 } } 1-operand ;
535 : PREFETCHT1 ( mem -- ) { BIN: 010 f { HEX: 0f HEX: 18 } } 1-operand ;
536 : PREFETCHT2 ( mem -- ) { BIN: 011 f { HEX: 0f HEX: 18 } } 1-operand ;
538 : MOVAPS ( dest src -- ) HEX: 28 f 2-operand-sse ;
539 : MOVAPD ( dest src -- ) HEX: 28 HEX: 66 2-operand-sse ;
540 : CVTSI2SD ( dest src -- ) HEX: 2a HEX: f2 2-operand-int/sse ;
541 : CVTSI2SS ( dest src -- ) HEX: 2a HEX: f3 2-operand-int/sse ;
542 : MOVNTPS ( dest src -- ) HEX: 2b f 2-operand-mr-sse ;
543 : MOVNTPD ( dest src -- ) HEX: 2b HEX: 66 2-operand-mr-sse ;
544 : CVTTSD2SI ( dest src -- ) HEX: 2c HEX: f2 2-operand-int/sse ;
545 : CVTTSS2SI ( dest src -- ) HEX: 2c HEX: f3 2-operand-int/sse ;
546 : CVTSD2SI ( dest src -- ) HEX: 2d HEX: f2 2-operand-int/sse ;
547 : CVTSS2SI ( dest src -- ) HEX: 2d HEX: f3 2-operand-int/sse ;
548 : UCOMISS ( dest src -- ) HEX: 2e f 2-operand-rm-sse ;
549 : UCOMISD ( dest src -- ) HEX: 2e HEX: 66 2-operand-rm-sse ;
550 : COMISS ( dest src -- ) HEX: 2f f 2-operand-rm-sse ;
551 : COMISD ( dest src -- ) HEX: 2f HEX: 66 2-operand-rm-sse ;
553 : PSHUFB ( dest src -- ) { HEX: 38 HEX: 00 } HEX: 66 2-operand-rm-sse ;
554 : PHADDW ( dest src -- ) { HEX: 38 HEX: 01 } HEX: 66 2-operand-rm-sse ;
555 : PHADDD ( dest src -- ) { HEX: 38 HEX: 02 } HEX: 66 2-operand-rm-sse ;
556 : PHADDSW ( dest src -- ) { HEX: 38 HEX: 03 } HEX: 66 2-operand-rm-sse ;
557 : PMADDUBSW ( dest src -- ) { HEX: 38 HEX: 04 } HEX: 66 2-operand-rm-sse ;
558 : PHSUBW ( dest src -- ) { HEX: 38 HEX: 05 } HEX: 66 2-operand-rm-sse ;
559 : PHSUBD ( dest src -- ) { HEX: 38 HEX: 06 } HEX: 66 2-operand-rm-sse ;
560 : PHSUBSW ( dest src -- ) { HEX: 38 HEX: 07 } HEX: 66 2-operand-rm-sse ;
561 : PSIGNB ( dest src -- ) { HEX: 38 HEX: 08 } HEX: 66 2-operand-rm-sse ;
562 : PSIGNW ( dest src -- ) { HEX: 38 HEX: 09 } HEX: 66 2-operand-rm-sse ;
563 : PSIGND ( dest src -- ) { HEX: 38 HEX: 0a } HEX: 66 2-operand-rm-sse ;
564 : PMULHRSW ( dest src -- ) { HEX: 38 HEX: 0b } HEX: 66 2-operand-rm-sse ;
565 : PBLENDVB ( dest src -- ) { HEX: 38 HEX: 10 } HEX: 66 2-operand-rm-sse ;
566 : BLENDVPS ( dest src -- ) { HEX: 38 HEX: 14 } HEX: 66 2-operand-rm-sse ;
567 : BLENDVPD ( dest src -- ) { HEX: 38 HEX: 15 } HEX: 66 2-operand-rm-sse ;
568 : PTEST ( dest src -- ) { HEX: 38 HEX: 17 } HEX: 66 2-operand-rm-sse ;
569 : PABSB ( dest src -- ) { HEX: 38 HEX: 1c } HEX: 66 2-operand-rm-sse ;
570 : PABSW ( dest src -- ) { HEX: 38 HEX: 1d } HEX: 66 2-operand-rm-sse ;
571 : PABSD ( dest src -- ) { HEX: 38 HEX: 1e } HEX: 66 2-operand-rm-sse ;
572 : PMOVSXBW ( dest src -- ) { HEX: 38 HEX: 20 } HEX: 66 2-operand-rm-sse ;
573 : PMOVSXBD ( dest src -- ) { HEX: 38 HEX: 21 } HEX: 66 2-operand-rm-sse ;
574 : PMOVSXBQ ( dest src -- ) { HEX: 38 HEX: 22 } HEX: 66 2-operand-rm-sse ;
575 : PMOVSXWD ( dest src -- ) { HEX: 38 HEX: 23 } HEX: 66 2-operand-rm-sse ;
576 : PMOVSXWQ ( dest src -- ) { HEX: 38 HEX: 24 } HEX: 66 2-operand-rm-sse ;
577 : PMOVSXDQ ( dest src -- ) { HEX: 38 HEX: 25 } HEX: 66 2-operand-rm-sse ;
578 : PMULDQ ( dest src -- ) { HEX: 38 HEX: 28 } HEX: 66 2-operand-rm-sse ;
579 : PCMPEQQ ( dest src -- ) { HEX: 38 HEX: 29 } HEX: 66 2-operand-rm-sse ;
580 : MOVNTDQA ( dest src -- ) { HEX: 38 HEX: 2a } HEX: 66 2-operand-rm-sse ;
581 : PACKUSDW ( dest src -- ) { HEX: 38 HEX: 2b } HEX: 66 2-operand-rm-sse ;
582 : PMOVZXBW ( dest src -- ) { HEX: 38 HEX: 30 } HEX: 66 2-operand-rm-sse ;
583 : PMOVZXBD ( dest src -- ) { HEX: 38 HEX: 31 } HEX: 66 2-operand-rm-sse ;
584 : PMOVZXBQ ( dest src -- ) { HEX: 38 HEX: 32 } HEX: 66 2-operand-rm-sse ;
585 : PMOVZXWD ( dest src -- ) { HEX: 38 HEX: 33 } HEX: 66 2-operand-rm-sse ;
586 : PMOVZXWQ ( dest src -- ) { HEX: 38 HEX: 34 } HEX: 66 2-operand-rm-sse ;
587 : PMOVZXDQ ( dest src -- ) { HEX: 38 HEX: 35 } HEX: 66 2-operand-rm-sse ;
588 : PCMPGTQ ( dest src -- ) { HEX: 38 HEX: 37 } HEX: 66 2-operand-rm-sse ;
589 : PMINSB ( dest src -- ) { HEX: 38 HEX: 38 } HEX: 66 2-operand-rm-sse ;
590 : PMINSD ( dest src -- ) { HEX: 38 HEX: 39 } HEX: 66 2-operand-rm-sse ;
591 : PMINUW ( dest src -- ) { HEX: 38 HEX: 3a } HEX: 66 2-operand-rm-sse ;
592 : PMINUD ( dest src -- ) { HEX: 38 HEX: 3b } HEX: 66 2-operand-rm-sse ;
593 : PMAXSB ( dest src -- ) { HEX: 38 HEX: 3c } HEX: 66 2-operand-rm-sse ;
594 : PMAXSD ( dest src -- ) { HEX: 38 HEX: 3d } HEX: 66 2-operand-rm-sse ;
595 : PMAXUW ( dest src -- ) { HEX: 38 HEX: 3e } HEX: 66 2-operand-rm-sse ;
596 : PMAXUD ( dest src -- ) { HEX: 38 HEX: 3f } HEX: 66 2-operand-rm-sse ;
597 : PMULLD ( dest src -- ) { HEX: 38 HEX: 40 } HEX: 66 2-operand-rm-sse ;
598 : PHMINPOSUW ( dest src -- ) { HEX: 38 HEX: 41 } HEX: 66 2-operand-rm-sse ;
599 : CRC32B ( dest src -- ) { HEX: 38 HEX: f0 } HEX: f2 2-operand-rm-sse ;
600 : CRC32 ( dest src -- ) { HEX: 38 HEX: f1 } HEX: f2 2-operand-rm-sse ;
602 : ROUNDPS ( dest src imm -- ) { HEX: 3a HEX: 08 } HEX: 66 3-operand-rm-sse ;
603 : ROUNDPD ( dest src imm -- ) { HEX: 3a HEX: 09 } HEX: 66 3-operand-rm-sse ;
604 : ROUNDSS ( dest src imm -- ) { HEX: 3a HEX: 0a } HEX: 66 3-operand-rm-sse ;
605 : ROUNDSD ( dest src imm -- ) { HEX: 3a HEX: 0b } HEX: 66 3-operand-rm-sse ;
606 : BLENDPS ( dest src imm -- ) { HEX: 3a HEX: 0c } HEX: 66 3-operand-rm-sse ;
607 : BLENDPD ( dest src imm -- ) { HEX: 3a HEX: 0d } HEX: 66 3-operand-rm-sse ;
608 : PBLENDW ( dest src imm -- ) { HEX: 3a HEX: 0e } HEX: 66 3-operand-rm-sse ;
609 : PALIGNR ( dest src imm -- ) { HEX: 3a HEX: 0f } HEX: 66 3-operand-rm-sse ;
611 : PEXTRB ( dest src imm -- ) { HEX: 3a HEX: 14 } HEX: 66 3-operand-mr-sse ;
614 : (PEXTRW-sse1) ( dest src imm -- ) HEX: c5 HEX: 66 3-operand-rm-sse ;
615 : (PEXTRW-sse4) ( dest src imm -- ) { HEX: 3a HEX: 15 } HEX: 66 3-operand-mr-sse ;
618 : PEXTRW ( dest src imm -- ) pick indirect? [ (PEXTRW-sse4) ] [ (PEXTRW-sse1) ] if ;
619 : PEXTRD ( dest src imm -- ) { HEX: 3a HEX: 16 } HEX: 66 3-operand-mr-sse ;
621 : EXTRACTPS ( dest src imm -- ) { HEX: 3a HEX: 17 } HEX: 66 3-operand-mr-sse ;
623 : PINSRB ( dest src imm -- ) { HEX: 3a HEX: 20 } HEX: 66 3-operand-rm-sse ;
624 : INSERTPS ( dest src imm -- ) { HEX: 3a HEX: 21 } HEX: 66 3-operand-rm-sse ;
625 : PINSRD ( dest src imm -- ) { HEX: 3a HEX: 22 } HEX: 66 3-operand-rm-sse ;
627 : DPPS ( dest src imm -- ) { HEX: 3a HEX: 40 } HEX: 66 3-operand-rm-sse ;
628 : DPPD ( dest src imm -- ) { HEX: 3a HEX: 41 } HEX: 66 3-operand-rm-sse ;
629 : MPSADBW ( dest src imm -- ) { HEX: 3a HEX: 42 } HEX: 66 3-operand-rm-sse ;
630 : PCMPESTRM ( dest src imm -- ) { HEX: 3a HEX: 60 } HEX: 66 3-operand-rm-sse ;
631 : PCMPESTRI ( dest src imm -- ) { HEX: 3a HEX: 61 } HEX: 66 3-operand-rm-sse ;
632 : PCMPISTRM ( dest src imm -- ) { HEX: 3a HEX: 62 } HEX: 66 3-operand-rm-sse ;
633 : PCMPISTRI ( dest src imm -- ) { HEX: 3a HEX: 63 } HEX: 66 3-operand-rm-sse ;
635 : MOVMSKPS ( dest src -- ) HEX: 50 f 2-operand-int/sse ;
636 : MOVMSKPD ( dest src -- ) HEX: 50 HEX: 66 2-operand-int/sse ;
637 : SQRTPS ( dest src -- ) HEX: 51 f 2-operand-rm-sse ;
638 : SQRTPD ( dest src -- ) HEX: 51 HEX: 66 2-operand-rm-sse ;
639 : SQRTSD ( dest src -- ) HEX: 51 HEX: f2 2-operand-rm-sse ;
640 : SQRTSS ( dest src -- ) HEX: 51 HEX: f3 2-operand-rm-sse ;
641 : RSQRTPS ( dest src -- ) HEX: 52 f 2-operand-rm-sse ;
642 : RSQRTSS ( dest src -- ) HEX: 52 HEX: f3 2-operand-rm-sse ;
643 : RCPPS ( dest src -- ) HEX: 53 f 2-operand-rm-sse ;
644 : RCPSS ( dest src -- ) HEX: 53 HEX: f3 2-operand-rm-sse ;
645 : ANDPS ( dest src -- ) HEX: 54 f 2-operand-rm-sse ;
646 : ANDPD ( dest src -- ) HEX: 54 HEX: 66 2-operand-rm-sse ;
647 : ANDNPS ( dest src -- ) HEX: 55 f 2-operand-rm-sse ;
648 : ANDNPD ( dest src -- ) HEX: 55 HEX: 66 2-operand-rm-sse ;
649 : ORPS ( dest src -- ) HEX: 56 f 2-operand-rm-sse ;
650 : ORPD ( dest src -- ) HEX: 56 HEX: 66 2-operand-rm-sse ;
651 : XORPS ( dest src -- ) HEX: 57 f 2-operand-rm-sse ;
652 : XORPD ( dest src -- ) HEX: 57 HEX: 66 2-operand-rm-sse ;
653 : ADDPS ( dest src -- ) HEX: 58 f 2-operand-rm-sse ;
654 : ADDPD ( dest src -- ) HEX: 58 HEX: 66 2-operand-rm-sse ;
655 : ADDSD ( dest src -- ) HEX: 58 HEX: f2 2-operand-rm-sse ;
656 : ADDSS ( dest src -- ) HEX: 58 HEX: f3 2-operand-rm-sse ;
657 : MULPS ( dest src -- ) HEX: 59 f 2-operand-rm-sse ;
658 : MULPD ( dest src -- ) HEX: 59 HEX: 66 2-operand-rm-sse ;
659 : MULSD ( dest src -- ) HEX: 59 HEX: f2 2-operand-rm-sse ;
660 : MULSS ( dest src -- ) HEX: 59 HEX: f3 2-operand-rm-sse ;
661 : CVTPS2PD ( dest src -- ) HEX: 5a f 2-operand-rm-sse ;
662 : CVTPD2PS ( dest src -- ) HEX: 5a HEX: 66 2-operand-rm-sse ;
663 : CVTSD2SS ( dest src -- ) HEX: 5a HEX: f2 2-operand-rm-sse ;
664 : CVTSS2SD ( dest src -- ) HEX: 5a HEX: f3 2-operand-rm-sse ;
665 : CVTDQ2PS ( dest src -- ) HEX: 5b f 2-operand-rm-sse ;
666 : CVTPS2DQ ( dest src -- ) HEX: 5b HEX: 66 2-operand-rm-sse ;
667 : CVTTPS2DQ ( dest src -- ) HEX: 5b HEX: f3 2-operand-rm-sse ;
668 : SUBPS ( dest src -- ) HEX: 5c f 2-operand-rm-sse ;
669 : SUBPD ( dest src -- ) HEX: 5c HEX: 66 2-operand-rm-sse ;
670 : SUBSD ( dest src -- ) HEX: 5c HEX: f2 2-operand-rm-sse ;
671 : SUBSS ( dest src -- ) HEX: 5c HEX: f3 2-operand-rm-sse ;
672 : MINPS ( dest src -- ) HEX: 5d f 2-operand-rm-sse ;
673 : MINPD ( dest src -- ) HEX: 5d HEX: 66 2-operand-rm-sse ;
674 : MINSD ( dest src -- ) HEX: 5d HEX: f2 2-operand-rm-sse ;
675 : MINSS ( dest src -- ) HEX: 5d HEX: f3 2-operand-rm-sse ;
676 : DIVPS ( dest src -- ) HEX: 5e f 2-operand-rm-sse ;
677 : DIVPD ( dest src -- ) HEX: 5e HEX: 66 2-operand-rm-sse ;
678 : DIVSD ( dest src -- ) HEX: 5e HEX: f2 2-operand-rm-sse ;
679 : DIVSS ( dest src -- ) HEX: 5e HEX: f3 2-operand-rm-sse ;
680 : MAXPS ( dest src -- ) HEX: 5f f 2-operand-rm-sse ;
681 : MAXPD ( dest src -- ) HEX: 5f HEX: 66 2-operand-rm-sse ;
682 : MAXSD ( dest src -- ) HEX: 5f HEX: f2 2-operand-rm-sse ;
683 : MAXSS ( dest src -- ) HEX: 5f HEX: f3 2-operand-rm-sse ;
684 : PUNPCKLQDQ ( dest src -- ) HEX: 6c HEX: 66 2-operand-rm-sse ;
685 : PUNPCKHQDQ ( dest src -- ) HEX: 6d HEX: 66 2-operand-rm-sse ;
687 : MOVDQA ( dest src -- ) { HEX: 6f HEX: 7f } HEX: 66 2-operand-rm-mr-sse ;
688 : MOVDQU ( dest src -- ) { HEX: 6f HEX: 7f } HEX: f3 2-operand-rm-mr-sse ;
690 : PSHUFD ( dest src imm -- ) HEX: 70 HEX: 66 3-operand-rm-sse ;
691 : PSHUFLW ( dest src imm -- ) HEX: 70 HEX: f2 3-operand-rm-sse ;
692 : PSHUFHW ( dest src imm -- ) HEX: 70 HEX: f3 3-operand-rm-sse ;
693 : PSRLW ( dest imm -- ) BIN: 010 HEX: 71 HEX: 66 2-operand-sse-shift ;
694 : PSRAW ( dest imm -- ) BIN: 100 HEX: 71 HEX: 66 2-operand-sse-shift ;
695 : PSLLW ( dest imm -- ) BIN: 110 HEX: 71 HEX: 66 2-operand-sse-shift ;
696 : PSRLD ( dest imm -- ) BIN: 010 HEX: 72 HEX: 66 2-operand-sse-shift ;
697 : PSRAD ( dest imm -- ) BIN: 100 HEX: 72 HEX: 66 2-operand-sse-shift ;
698 : PSLLD ( dest imm -- ) BIN: 110 HEX: 72 HEX: 66 2-operand-sse-shift ;
699 : PSRLQ ( dest imm -- ) BIN: 010 HEX: 73 HEX: 66 2-operand-sse-shift ;
700 : PSRLDQ ( dest imm -- ) BIN: 011 HEX: 73 HEX: 66 2-operand-sse-shift ;
701 : PSLLQ ( dest imm -- ) BIN: 110 HEX: 73 HEX: 66 2-operand-sse-shift ;
702 : PSLLDQ ( dest imm -- ) BIN: 111 HEX: 73 HEX: 66 2-operand-sse-shift ;
704 : PCMPEQB ( dest src -- ) HEX: 74 HEX: 66 2-operand-rm-sse ;
705 : PCMPEQW ( dest src -- ) HEX: 75 HEX: 66 2-operand-rm-sse ;
706 : PCMPEQD ( dest src -- ) HEX: 76 HEX: 66 2-operand-rm-sse ;
707 : HADDPD ( dest src -- ) HEX: 7c HEX: 66 2-operand-rm-sse ;
708 : HADDPS ( dest src -- ) HEX: 7c HEX: f2 2-operand-rm-sse ;
709 : HSUBPD ( dest src -- ) HEX: 7d HEX: 66 2-operand-rm-sse ;
710 : HSUBPS ( dest src -- ) HEX: 7d HEX: f2 2-operand-rm-sse ;
712 : LDMXCSR ( src -- ) { BIN: 010 f { HEX: 0f HEX: ae } } 1-operand ;
713 : STMXCSR ( dest -- ) { BIN: 011 f { HEX: 0f HEX: ae } } 1-operand ;
714 : LFENCE ( -- ) HEX: 0f , HEX: ae , OCT: 350 , ;
715 : MFENCE ( -- ) HEX: 0f , HEX: ae , OCT: 360 , ;
716 : SFENCE ( -- ) HEX: 0f , HEX: ae , OCT: 370 , ;
718 : POPCNT ( dest src -- ) HEX: b8 HEX: f3 2-operand-rm-sse ;
720 : CMPEQPS ( dest src -- ) 0 HEX: c2 f 2-operand-sse-cmp ;
721 : CMPLTPS ( dest src -- ) 1 HEX: c2 f 2-operand-sse-cmp ;
722 : CMPLEPS ( dest src -- ) 2 HEX: c2 f 2-operand-sse-cmp ;
723 : CMPUNORDPS ( dest src -- ) 3 HEX: c2 f 2-operand-sse-cmp ;
724 : CMPNEQPS ( dest src -- ) 4 HEX: c2 f 2-operand-sse-cmp ;
725 : CMPNLTPS ( dest src -- ) 5 HEX: c2 f 2-operand-sse-cmp ;
726 : CMPNLEPS ( dest src -- ) 6 HEX: c2 f 2-operand-sse-cmp ;
727 : CMPORDPS ( dest src -- ) 7 HEX: c2 f 2-operand-sse-cmp ;
729 : CMPEQPD ( dest src -- ) 0 HEX: c2 HEX: 66 2-operand-sse-cmp ;
730 : CMPLTPD ( dest src -- ) 1 HEX: c2 HEX: 66 2-operand-sse-cmp ;
731 : CMPLEPD ( dest src -- ) 2 HEX: c2 HEX: 66 2-operand-sse-cmp ;
732 : CMPUNORDPD ( dest src -- ) 3 HEX: c2 HEX: 66 2-operand-sse-cmp ;
733 : CMPNEQPD ( dest src -- ) 4 HEX: c2 HEX: 66 2-operand-sse-cmp ;
734 : CMPNLTPD ( dest src -- ) 5 HEX: c2 HEX: 66 2-operand-sse-cmp ;
735 : CMPNLEPD ( dest src -- ) 6 HEX: c2 HEX: 66 2-operand-sse-cmp ;
736 : CMPORDPD ( dest src -- ) 7 HEX: c2 HEX: 66 2-operand-sse-cmp ;
738 : CMPEQSD ( dest src -- ) 0 HEX: c2 HEX: f2 2-operand-sse-cmp ;
739 : CMPLTSD ( dest src -- ) 1 HEX: c2 HEX: f2 2-operand-sse-cmp ;
740 : CMPLESD ( dest src -- ) 2 HEX: c2 HEX: f2 2-operand-sse-cmp ;
741 : CMPUNORDSD ( dest src -- ) 3 HEX: c2 HEX: f2 2-operand-sse-cmp ;
742 : CMPNEQSD ( dest src -- ) 4 HEX: c2 HEX: f2 2-operand-sse-cmp ;
743 : CMPNLTSD ( dest src -- ) 5 HEX: c2 HEX: f2 2-operand-sse-cmp ;
744 : CMPNLESD ( dest src -- ) 6 HEX: c2 HEX: f2 2-operand-sse-cmp ;
745 : CMPORDSD ( dest src -- ) 7 HEX: c2 HEX: f2 2-operand-sse-cmp ;
747 : CMPEQSS ( dest src -- ) 0 HEX: c2 HEX: f3 2-operand-sse-cmp ;
748 : CMPLTSS ( dest src -- ) 1 HEX: c2 HEX: f3 2-operand-sse-cmp ;
749 : CMPLESS ( dest src -- ) 2 HEX: c2 HEX: f3 2-operand-sse-cmp ;
750 : CMPUNORDSS ( dest src -- ) 3 HEX: c2 HEX: f3 2-operand-sse-cmp ;
751 : CMPNEQSS ( dest src -- ) 4 HEX: c2 HEX: f3 2-operand-sse-cmp ;
752 : CMPNLTSS ( dest src -- ) 5 HEX: c2 HEX: f3 2-operand-sse-cmp ;
753 : CMPNLESS ( dest src -- ) 6 HEX: c2 HEX: f3 2-operand-sse-cmp ;
754 : CMPORDSS ( dest src -- ) 7 HEX: c2 HEX: f3 2-operand-sse-cmp ;
756 : MOVNTI ( dest src -- ) { HEX: 0f HEX: c3 } (2-operand) ;
758 : PINSRW ( dest src imm -- ) HEX: c4 HEX: 66 3-operand-rm-sse ;
759 : SHUFPS ( dest src imm -- ) HEX: c6 f 3-operand-rm-sse ;
760 : SHUFPD ( dest src imm -- ) HEX: c6 HEX: 66 3-operand-rm-sse ;
762 : ADDSUBPD ( dest src -- ) HEX: d0 HEX: 66 2-operand-rm-sse ;
763 : ADDSUBPS ( dest src -- ) HEX: d0 HEX: f2 2-operand-rm-sse ;
764 : PADDQ ( dest src -- ) HEX: d4 HEX: 66 2-operand-rm-sse ;
765 : PMINUB ( dest src -- ) HEX: da HEX: 66 2-operand-rm-sse ;
766 : PMAXUB ( dest src -- ) HEX: de HEX: 66 2-operand-rm-sse ;
767 : PAVGB ( dest src -- ) HEX: e0 HEX: 66 2-operand-rm-sse ;
768 : PAVGW ( dest src -- ) HEX: e3 HEX: 66 2-operand-rm-sse ;
769 : PMULHUW ( dest src -- ) HEX: e4 HEX: 66 2-operand-rm-sse ;
770 : CVTTPD2DQ ( dest src -- ) HEX: e6 HEX: 66 2-operand-rm-sse ;
771 : CVTPD2DQ ( dest src -- ) HEX: e6 HEX: f2 2-operand-rm-sse ;
772 : CVTDQ2PD ( dest src -- ) HEX: e6 HEX: f3 2-operand-rm-sse ;
774 : MOVNTDQ ( dest src -- ) HEX: e7 HEX: 66 2-operand-mr-sse ;
776 : PMINSW ( dest src -- ) HEX: ea HEX: 66 2-operand-rm-sse ;
777 : PMAXSW ( dest src -- ) HEX: ee HEX: 66 2-operand-rm-sse ;
778 : LDDQU ( dest src -- ) HEX: f0 HEX: f2 2-operand-rm-sse ;
779 : PMULUDQ ( dest src -- ) HEX: f4 HEX: 66 2-operand-rm-sse ;
780 : PSADBW ( dest src -- ) HEX: f6 HEX: 66 2-operand-rm-sse ;
782 : MASKMOVDQU ( dest src -- ) HEX: f7 HEX: 66 2-operand-rm-sse ;
784 : PSUBQ ( dest src -- ) HEX: fb HEX: 66 2-operand-rm-sse ;
786 ! x86-64 branch prediction hints
788 : HWNT ( -- ) HEX: 2e , ; ! Hint branch Weakly Not Taken
789 : HST ( -- ) HEX: 3e , ; ! Hint branch Strongly Taken