]> gitweb.factorcode.org Git - factor.git/blob - basis/cpu/x86/assembler/assembler.factor
cpu.x86.assembler: fix extended 8-bit registers (DIL, SIL, SPL, BPL)
[factor.git] / basis / cpu / x86 / assembler / assembler.factor
1 ! Copyright (C) 2005, 2009 Slava Pestov, Joe Groff.
2 ! See http://factorcode.org/license.txt for BSD license.
3 USING: arrays io.binary kernel combinators kernel.private math locals
4 namespaces make sequences words system layouts math.order accessors
5 cpu.x86.assembler.operands cpu.x86.assembler.operands.private ;
6 QUALIFIED: sequences
7 IN: cpu.x86.assembler
8
9 ! A postfix assembler for x86-32 and x86-64.
10
11 <PRIVATE
12
13 : reg-code ( reg -- n ) "register" word-prop 7 bitand ;
14
15 : indirect-base* ( op -- n ) base>> EBP or reg-code ;
16
17 : indirect-index* ( op -- n ) index>> ESP or reg-code ;
18
19 : indirect-scale* ( op -- n ) scale>> 0 or ;
20
21 GENERIC: sib-present? ( op -- ? )
22
23 M: indirect sib-present?
24     [ base>> { ESP RSP R12 } member? ] [ index>> ] [ scale>> ] tri or or ;
25
26 M: register sib-present? drop f ;
27
28 GENERIC: r/m ( operand -- n )
29
30 M: indirect r/m
31     dup sib-present?
32     [ drop ESP reg-code ] [ indirect-base* ] if ;
33
34 M: register r/m reg-code ;
35
36 ! Immediate operands
37 UNION: immediate byte integer ;
38
39 GENERIC: fits-in-byte? ( value -- ? )
40
41 M: byte fits-in-byte? drop t ;
42
43 M: integer fits-in-byte? -128 127 between? ;
44
45 GENERIC: modifier ( op -- n )
46
47 M: indirect modifier
48     dup base>> [
49         displacement>> {
50             { [ dup not ] [ BIN: 00 ] }
51             { [ dup fits-in-byte? ] [ BIN: 01 ] }
52             { [ dup immediate? ] [ BIN: 10 ] }
53         } cond nip
54     ] [
55         drop BIN: 00
56     ] if ;
57
58 M: register modifier drop BIN: 11 ;
59
60 GENERIC# n, 1 ( value n -- )
61
62 M: integer n, >le % ;
63 M: byte n, [ value>> ] dip n, ;
64 : 1, ( n -- ) 1 n, ; inline
65 : 4, ( n -- ) 4 n, ; inline
66 : 2, ( n -- ) 2 n, ; inline
67 : cell, ( n -- ) bootstrap-cell n, ; inline
68
69 : mod-r/m, ( reg# indirect -- )
70     [ 3 shift ] [ [ modifier 6 shift ] [ r/m ] bi ] bi* bitor bitor , ;
71
72 : sib, ( indirect -- )
73     dup sib-present? [
74         [ indirect-base* ]
75         [ indirect-index* 3 shift ]
76         [ indirect-scale* 6 shift ] tri bitor bitor ,
77     ] [
78         drop
79     ] if ;
80
81 GENERIC: displacement, ( op -- )
82
83 M: indirect displacement,
84     dup displacement>> dup [
85         swap base>>
86         [ dup fits-in-byte? [ , ] [ 4, ] if ] [ 4, ] if
87     ] [ 2drop ] if ;
88
89 M: register displacement, drop ;
90
91 : addressing ( reg# indirect -- )
92     [ mod-r/m, ] [ sib, ] [ displacement, ] tri ;
93
94 : rex.w? ( rex.w reg r/m -- ? )
95     {
96         { [ dup register-128? ] [ drop operand-64? ] }
97         { [ dup not ] [ drop operand-64? ] }
98         [ nip operand-64? ]
99     } cond and ;
100
101 : rex.r ( m op -- n )
102     extended? [ BIN: 00000100 bitor ] when ;
103
104 : rex.b ( m op -- n )
105     [ extended? [ BIN: 00000001 bitor ] when ] keep
106     dup indirect? [ index>> extended? [ BIN: 00000010 bitor ] when ] [ drop ] if ;
107
108 : no-prefix? ( prefix reg r/m -- ? )
109     [ BIN: 01000000 = ]
110     [ extended-8-bit-register? not ]
111     [ extended-8-bit-register? not ] tri*
112     and and ;
113
114 :: rex-prefix ( reg r/m rex.w -- )
115     #! Compile an AMD64 REX prefix.
116     rex.w reg r/m rex.w? BIN: 01001000 BIN: 01000000 ?
117     r/m rex.r
118     reg rex.b
119     dup reg r/m no-prefix? [ drop ] [ , ] if ;
120
121 : 16-prefix ( reg r/m -- )
122     [ register-16? ] either? [ HEX: 66 , ] when ;
123
124 : prefix ( reg r/m rex.w -- ) [ drop 16-prefix ] [ rex-prefix ] 3bi ;
125
126 : prefix-1 ( reg rex.w -- ) f swap prefix ;
127
128 : short-operand ( reg rex.w n -- )
129     #! Some instructions encode their single operand as part of
130     #! the opcode.
131     [ dupd prefix-1 reg-code ] dip + , ;
132
133 : opcode, ( opcode -- ) dup array? [ % ] [ , ] if ;
134
135 : extended-opcode ( opcode -- opcode' )
136     dup array? [ OCT: 17 sequences:prefix ] [ OCT: 17 swap 2array ] if ;
137
138 : extended-opcode, ( opcode -- ) extended-opcode opcode, ;
139
140 : opcode-or ( opcode mask -- opcode' )
141     swap dup array?
142     [ unclip-last rot bitor suffix ] [ bitor ] if ;
143
144 : 1-operand ( op reg,rex.w,opcode -- )
145     #! The 'reg' is not really a register, but a value for the
146     #! 'reg' field of the mod-r/m byte.
147     first3 [ [ over ] dip prefix-1 ] dip opcode, swap addressing ;
148
149 : immediate-operand-size-bit ( imm dst reg,rex.w,opcode -- imm dst reg,rex.w,opcode )
150     pick integer? [ first3 BIN: 1 opcode-or 3array ] when ;
151
152 : immediate-1 ( imm dst reg,rex.w,opcode -- )
153     immediate-operand-size-bit 1-operand 1, ;
154
155 : immediate-4 ( imm dst reg,rex.w,opcode -- )
156     immediate-operand-size-bit 1-operand 4, ;
157
158 : immediate-fits-in-size-bit ( imm dst reg,rex.w,opcode -- imm dst reg,rex.w,opcode )
159     pick integer? [ first3 BIN: 10 opcode-or 3array ] when ;
160
161 : immediate-1/4 ( imm dst reg,rex.w,opcode -- )
162     #! If imm is a byte, compile the opcode and the byte.
163     #! Otherwise, set the 8-bit operand flag in the opcode, and
164     #! compile the cell. The 'reg' is not really a register, but
165     #! a value for the 'reg' field of the mod-r/m byte.
166     pick fits-in-byte? [
167         immediate-fits-in-size-bit immediate-1
168     ] [
169         immediate-4
170     ] if ;
171
172 : (2-operand) ( dst src op -- )
173     [ 2dup t rex-prefix ] dip opcode,
174     reg-code swap addressing ;
175
176 : direction-bit ( dst src op -- dst' src' op' )
177     pick register? pick register? not and
178     [ BIN: 10 opcode-or swapd ] when ;
179
180 : operand-size-bit ( dst src op -- dst' src' op' )
181     over register-8? [ BIN: 1 opcode-or ] unless ;
182
183 : 2-operand ( dst src op -- )
184     #! Sets the opcode's direction bit. It is set if the
185     #! destination is a direct register operand.
186     [ drop 16-prefix ] [ direction-bit operand-size-bit (2-operand) ] 3bi ;
187
188 PRIVATE>
189
190 ! Moving stuff
191 GENERIC: PUSH ( op -- )
192 M: register PUSH f HEX: 50 short-operand ;
193 M: immediate PUSH HEX: 68 , 4, ;
194 M: operand PUSH { BIN: 110 f HEX: ff } 1-operand ;
195
196 GENERIC: POP ( op -- )
197 M: register POP f HEX: 58 short-operand ;
198 M: operand POP { BIN: 000 f HEX: 8f } 1-operand ;
199
200 ! MOV where the src is immediate.
201 GENERIC: (MOV-I) ( src dst -- )
202 M: register (MOV-I) t HEX: b8 short-operand cell, ;
203 M: operand (MOV-I)
204     { BIN: 000 t HEX: c6 }
205     pick byte? [ immediate-1 ] [ immediate-4 ] if ;
206
207 GENERIC: MOV ( dst src -- )
208 M: immediate MOV swap (MOV-I) ;
209 M: operand MOV HEX: 88 2-operand ;
210
211 : LEA ( dst src -- ) swap HEX: 8d 2-operand ;
212
213 ! Control flow
214 GENERIC: JMP ( op -- )
215 M: integer JMP HEX: e9 , 4, ;
216 M: operand JMP { BIN: 100 t HEX: ff } 1-operand ;
217
218 GENERIC: CALL ( op -- )
219 M: integer CALL HEX: e8 , 4, ;
220 M: operand CALL { BIN: 010 t HEX: ff } 1-operand ;
221
222 GENERIC# JUMPcc 1 ( addr opcode -- )
223 M: integer JUMPcc extended-opcode, 4, ;
224
225 : JO  ( dst -- ) HEX: 80 JUMPcc ;
226 : JNO ( dst -- ) HEX: 81 JUMPcc ;
227 : JB  ( dst -- ) HEX: 82 JUMPcc ;
228 : JAE ( dst -- ) HEX: 83 JUMPcc ;
229 : JE  ( dst -- ) HEX: 84 JUMPcc ; ! aka JZ
230 : JNE ( dst -- ) HEX: 85 JUMPcc ;
231 : JBE ( dst -- ) HEX: 86 JUMPcc ;
232 : JA  ( dst -- ) HEX: 87 JUMPcc ;
233 : JS  ( dst -- ) HEX: 88 JUMPcc ;
234 : JNS ( dst -- ) HEX: 89 JUMPcc ;
235 : JP  ( dst -- ) HEX: 8a JUMPcc ;
236 : JNP ( dst -- ) HEX: 8b JUMPcc ;
237 : JL  ( dst -- ) HEX: 8c JUMPcc ;
238 : JGE ( dst -- ) HEX: 8d JUMPcc ;
239 : JLE ( dst -- ) HEX: 8e JUMPcc ;
240 : JG  ( dst -- ) HEX: 8f JUMPcc ;
241
242 : LEAVE ( -- ) HEX: c9 , ;
243
244 : RET ( n -- )
245     dup zero? [ drop HEX: c3 , ] [ HEX: c2 , 2, ] if ;
246
247 ! Arithmetic
248
249 GENERIC: ADD ( dst src -- )
250 M: immediate ADD swap { BIN: 000 t HEX: 80 } immediate-1/4 ;
251 M: operand ADD OCT: 000 2-operand ;
252
253 GENERIC: OR ( dst src -- )
254 M: immediate OR swap { BIN: 001 t HEX: 80 } immediate-1/4 ;
255 M: operand OR OCT: 010 2-operand ;
256
257 GENERIC: ADC ( dst src -- )
258 M: immediate ADC swap { BIN: 010 t HEX: 80 } immediate-1/4 ;
259 M: operand ADC OCT: 020 2-operand ;
260
261 GENERIC: SBB ( dst src -- )
262 M: immediate SBB swap { BIN: 011 t HEX: 80 } immediate-1/4 ;
263 M: operand SBB OCT: 030 2-operand ;
264
265 GENERIC: AND ( dst src -- )
266 M: immediate AND swap { BIN: 100 t HEX: 80 } immediate-1/4 ;
267 M: operand AND OCT: 040 2-operand ;
268
269 GENERIC: SUB ( dst src -- )
270 M: immediate SUB swap { BIN: 101 t HEX: 80 } immediate-1/4 ;
271 M: operand SUB OCT: 050 2-operand ;
272
273 GENERIC: XOR ( dst src -- )
274 M: immediate XOR swap { BIN: 110 t HEX: 80 } immediate-1/4 ;
275 M: operand XOR OCT: 060 2-operand ;
276
277 GENERIC: CMP ( dst src -- )
278 M: immediate CMP swap { BIN: 111 t HEX: 80 } immediate-1/4 ;
279 M: operand CMP OCT: 070 2-operand ;
280
281 GENERIC: TEST ( dst src -- )
282 M: immediate TEST swap { BIN: 0 t HEX: f7 } immediate-4 ;
283 M: operand TEST OCT: 204 2-operand ;
284
285 : XCHG ( dst src -- ) OCT: 207 2-operand ;
286
287 : BSR ( dst src -- ) swap { HEX: 0f HEX: bd } (2-operand) ;
288
289 : NOT  ( dst -- ) { BIN: 010 t HEX: f7 } 1-operand ;
290 : NEG  ( dst -- ) { BIN: 011 t HEX: f7 } 1-operand ;
291 : MUL  ( dst -- ) { BIN: 100 t HEX: f7 } 1-operand ;
292 : IMUL ( src -- ) { BIN: 101 t HEX: f7 } 1-operand ;
293 : DIV  ( dst -- ) { BIN: 110 t HEX: f7 } 1-operand ;
294 : IDIV ( src -- ) { BIN: 111 t HEX: f7 } 1-operand ;
295
296 : CDQ ( -- ) HEX: 99 , ;
297 : CQO ( -- ) HEX: 48 , CDQ ;
298
299 : (SHIFT) ( dst src op -- )
300     over CL eq? [
301         nip t HEX: d3 3array 1-operand
302     ] [
303         swapd t HEX: c0 3array immediate-1
304     ] if ; inline
305
306 : ROL ( dst n -- ) BIN: 000 (SHIFT) ;
307 : ROR ( dst n -- ) BIN: 001 (SHIFT) ;
308 : RCL ( dst n -- ) BIN: 010 (SHIFT) ;
309 : RCR ( dst n -- ) BIN: 011 (SHIFT) ;
310 : SHL ( dst n -- ) BIN: 100 (SHIFT) ;
311 : SHR ( dst n -- ) BIN: 101 (SHIFT) ;
312 : SAR ( dst n -- ) BIN: 111 (SHIFT) ;
313
314 : IMUL2 ( dst src -- )
315     OCT: 257 extended-opcode (2-operand) ;
316
317 : IMUL3 ( dst src imm -- )
318     dup fits-in-byte? [
319         [ swap HEX: 6a 2-operand ] dip 1,
320     ] [
321         [ swap HEX: 68 2-operand ] dip 4,
322     ] if ;
323
324 : MOVSX ( dst src -- )
325     swap
326     over register-32? OCT: 143 OCT: 276 extended-opcode ?
327     pick register-16? [ BIN: 1 opcode-or ] when
328     (2-operand) ;
329
330 : MOVZX ( dst src -- )
331     swap
332     OCT: 266 extended-opcode
333     pick register-16? [ BIN: 1 opcode-or ] when
334     (2-operand) ;
335
336 ! Conditional move
337 : MOVcc ( dst src cc -- ) extended-opcode swapd (2-operand) ;
338
339 : CMOVO  ( dst src -- ) HEX: 40 MOVcc ;
340 : CMOVNO ( dst src -- ) HEX: 41 MOVcc ;
341 : CMOVB  ( dst src -- ) HEX: 42 MOVcc ;
342 : CMOVAE ( dst src -- ) HEX: 43 MOVcc ;
343 : CMOVE  ( dst src -- ) HEX: 44 MOVcc ; ! aka CMOVZ
344 : CMOVNE ( dst src -- ) HEX: 45 MOVcc ;
345 : CMOVBE ( dst src -- ) HEX: 46 MOVcc ;
346 : CMOVA  ( dst src -- ) HEX: 47 MOVcc ;
347 : CMOVS  ( dst src -- ) HEX: 48 MOVcc ;
348 : CMOVNS ( dst src -- ) HEX: 49 MOVcc ;
349 : CMOVP  ( dst src -- ) HEX: 4a MOVcc ;
350 : CMOVNP ( dst src -- ) HEX: 4b MOVcc ;
351 : CMOVL  ( dst src -- ) HEX: 4c MOVcc ;
352 : CMOVGE ( dst src -- ) HEX: 4d MOVcc ;
353 : CMOVLE ( dst src -- ) HEX: 4e MOVcc ;
354 : CMOVG  ( dst src -- ) HEX: 4f MOVcc ;
355
356 ! CPU Identification
357
358 : CPUID ( -- ) HEX: a2 extended-opcode, ;
359
360 ! Misc
361
362 : NOP ( -- ) HEX: 90 , ;
363 : PAUSE ( -- ) HEX: f3 , HEX: 90 , ;
364
365 : RDPMC ( -- ) HEX: 0f , HEX: 33 , ;
366
367 ! x87 Floating Point Unit
368
369 : FSTPS ( operand -- ) { BIN: 011 f HEX: d9 } 1-operand ;
370 : FSTPL ( operand -- ) { BIN: 011 f HEX: dd } 1-operand ;
371
372 : FLDS ( operand -- ) { BIN: 000 f HEX: d9 } 1-operand ;
373 : FLDL ( operand -- ) { BIN: 000 f HEX: dd } 1-operand ;
374
375 ! SSE multimedia instructions
376
377 <PRIVATE
378
379 : direction-bit-sse ( dst src op1 -- dst' src' op1' )
380     pick register-128? [ swapd ] [ BIN: 1 bitor ] if ;
381
382 : 2-operand-sse ( dst src op1 op2 -- )
383     [ , ] when* direction-bit-sse extended-opcode (2-operand) ;
384
385 : direction-op-sse ( dst src op1s -- dst' src' op1' )
386     pick register-128? [ swapd first ] [ second ] if ;
387
388 : 2-operand-rm-mr-sse ( dst src op1{rm,mr} op2 -- )
389     [ , ] when* direction-op-sse extended-opcode (2-operand) ;
390
391 : 2-operand-rm-sse ( dst src op1 op2 -- )
392     [ , ] when* swapd extended-opcode (2-operand) ;
393
394 : 2-operand-mr-sse ( dst src op1 op2 -- )
395     [ , ] when* extended-opcode (2-operand) ;
396
397 : 2-operand-int/sse ( dst src op1 op2 -- )
398     [ , ] when* swapd extended-opcode (2-operand) ;
399
400 : 3-operand-rm-sse ( dst src imm op1 op2 -- )
401     rot [ 2-operand-rm-sse ] dip , ;
402
403 : 3-operand-mr-sse ( dst src imm op1 op2 -- )
404     rot [ 2-operand-mr-sse ] dip , ;
405
406 : 3-operand-rm-mr-sse ( dst src imm op1 op2 -- )
407     rot [ 2-operand-rm-mr-sse ] dip , ;
408
409 : 2-operand-sse-cmp ( dst src cmp op1 op2 -- )
410     3-operand-rm-sse ; inline
411
412 : 2-operand-sse-shift ( dst imm reg op1 op2 -- )
413     [ , ] when*
414     [ f HEX: 0f ] dip 2array 3array
415     swapd 1-operand , ;
416
417 PRIVATE>
418
419 : MOVUPS     ( dest src -- ) HEX: 10 f       2-operand-sse ;
420 : MOVUPD     ( dest src -- ) HEX: 10 HEX: 66 2-operand-sse ;
421 : MOVSD      ( dest src -- ) HEX: 10 HEX: f2 2-operand-sse ;
422 : MOVSS      ( dest src -- ) HEX: 10 HEX: f3 2-operand-sse ;
423 : MOVLPS     ( dest src -- ) HEX: 12 f       2-operand-sse ;
424 : MOVLPD     ( dest src -- ) HEX: 12 HEX: 66 2-operand-sse ;
425 : MOVDDUP    ( dest src -- ) HEX: 12 HEX: f2 2-operand-rm-sse ;
426 : MOVSLDUP   ( dest src -- ) HEX: 12 HEX: f3 2-operand-rm-sse ;
427 : UNPCKLPS   ( dest src -- ) HEX: 14 f       2-operand-rm-sse ;
428 : UNPCKLPD   ( dest src -- ) HEX: 14 HEX: 66 2-operand-rm-sse ;
429 : UNPCKHPS   ( dest src -- ) HEX: 15 f       2-operand-rm-sse ;
430 : UNPCKHPD   ( dest src -- ) HEX: 15 HEX: 66 2-operand-rm-sse ;
431 : MOVHPS     ( dest src -- ) HEX: 16 f       2-operand-sse ;
432 : MOVHPD     ( dest src -- ) HEX: 16 HEX: 66 2-operand-sse ;
433 : MOVSHDUP   ( dest src -- ) HEX: 16 HEX: f3 2-operand-rm-sse ;
434
435 : PREFETCHNTA ( mem -- )  { BIN: 000 f { HEX: 0f HEX: 18 } } 1-operand ;
436 : PREFETCHT0  ( mem -- )  { BIN: 001 f { HEX: 0f HEX: 18 } } 1-operand ;
437 : PREFETCHT1  ( mem -- )  { BIN: 010 f { HEX: 0f HEX: 18 } } 1-operand ;
438 : PREFETCHT2  ( mem -- )  { BIN: 011 f { HEX: 0f HEX: 18 } } 1-operand ;
439
440 : MOVAPS     ( dest src -- ) HEX: 28 f       2-operand-sse ;
441 : MOVAPD     ( dest src -- ) HEX: 28 HEX: 66 2-operand-sse ;
442 : CVTSI2SD   ( dest src -- ) HEX: 2a HEX: f2 2-operand-int/sse ;
443 : CVTSI2SS   ( dest src -- ) HEX: 2a HEX: f3 2-operand-int/sse ;
444 : MOVNTPS    ( dest src -- ) HEX: 2b f       2-operand-mr-sse ;
445 : MOVNTPD    ( dest src -- ) HEX: 2b HEX: 66 2-operand-mr-sse ;
446 : CVTTSD2SI  ( dest src -- ) HEX: 2c HEX: f2 2-operand-int/sse ;
447 : CVTTSS2SI  ( dest src -- ) HEX: 2c HEX: f3 2-operand-int/sse ;
448 : CVTSD2SI   ( dest src -- ) HEX: 2d HEX: f2 2-operand-int/sse ;
449 : CVTSS2SI   ( dest src -- ) HEX: 2d HEX: f3 2-operand-int/sse ;
450 : UCOMISS    ( dest src -- ) HEX: 2e f       2-operand-rm-sse ;
451 : UCOMISD    ( dest src -- ) HEX: 2e HEX: 66 2-operand-rm-sse ;
452 : COMISS     ( dest src -- ) HEX: 2f f       2-operand-rm-sse ;
453 : COMISD     ( dest src -- ) HEX: 2f HEX: 66 2-operand-rm-sse ;
454
455 : PSHUFB     ( dest src -- ) { HEX: 38 HEX: 00 } HEX: 66 2-operand-rm-sse ;
456 : PHADDW     ( dest src -- ) { HEX: 38 HEX: 01 } HEX: 66 2-operand-rm-sse ;
457 : PHADDD     ( dest src -- ) { HEX: 38 HEX: 02 } HEX: 66 2-operand-rm-sse ;
458 : PHADDSW    ( dest src -- ) { HEX: 38 HEX: 03 } HEX: 66 2-operand-rm-sse ;
459 : PMADDUBSW  ( dest src -- ) { HEX: 38 HEX: 04 } HEX: 66 2-operand-rm-sse ;
460 : PHSUBW     ( dest src -- ) { HEX: 38 HEX: 05 } HEX: 66 2-operand-rm-sse ;
461 : PHSUBD     ( dest src -- ) { HEX: 38 HEX: 06 } HEX: 66 2-operand-rm-sse ;
462 : PHSUBSW    ( dest src -- ) { HEX: 38 HEX: 07 } HEX: 66 2-operand-rm-sse ;
463 : PSIGNB     ( dest src -- ) { HEX: 38 HEX: 08 } HEX: 66 2-operand-rm-sse ;
464 : PSIGNW     ( dest src -- ) { HEX: 38 HEX: 09 } HEX: 66 2-operand-rm-sse ;
465 : PSIGND     ( dest src -- ) { HEX: 38 HEX: 0a } HEX: 66 2-operand-rm-sse ;
466 : PMULHRSW   ( dest src -- ) { HEX: 38 HEX: 0b } HEX: 66 2-operand-rm-sse ;
467 : PBLENDVB   ( dest src -- ) { HEX: 38 HEX: 10 } HEX: 66 2-operand-rm-sse ;
468 : BLENDVPS   ( dest src -- ) { HEX: 38 HEX: 14 } HEX: 66 2-operand-rm-sse ;
469 : BLENDVPD   ( dest src -- ) { HEX: 38 HEX: 15 } HEX: 66 2-operand-rm-sse ;
470 : PTEST      ( dest src -- ) { HEX: 38 HEX: 17 } HEX: 66 2-operand-rm-sse ;
471 : PABSB      ( dest src -- ) { HEX: 38 HEX: 1c } HEX: 66 2-operand-rm-sse ;
472 : PABSW      ( dest src -- ) { HEX: 38 HEX: 1d } HEX: 66 2-operand-rm-sse ;
473 : PABSD      ( dest src -- ) { HEX: 38 HEX: 1e } HEX: 66 2-operand-rm-sse ;
474 : PMOVSXBW   ( dest src -- ) { HEX: 38 HEX: 20 } HEX: 66 2-operand-rm-sse ;
475 : PMOVSXBD   ( dest src -- ) { HEX: 38 HEX: 21 } HEX: 66 2-operand-rm-sse ;
476 : PMOVSXBQ   ( dest src -- ) { HEX: 38 HEX: 22 } HEX: 66 2-operand-rm-sse ;
477 : PMOVSXWD   ( dest src -- ) { HEX: 38 HEX: 23 } HEX: 66 2-operand-rm-sse ;
478 : PMOVSXWQ   ( dest src -- ) { HEX: 38 HEX: 24 } HEX: 66 2-operand-rm-sse ;
479 : PMOVSXDQ   ( dest src -- ) { HEX: 38 HEX: 25 } HEX: 66 2-operand-rm-sse ;
480 : PMULDQ     ( dest src -- ) { HEX: 38 HEX: 28 } HEX: 66 2-operand-rm-sse ;
481 : PCMPEQQ    ( dest src -- ) { HEX: 38 HEX: 29 } HEX: 66 2-operand-rm-sse ;
482 : MOVNTDQA   ( dest src -- ) { HEX: 38 HEX: 2a } HEX: 66 2-operand-rm-sse ;
483 : PACKUSDW   ( dest src -- ) { HEX: 38 HEX: 2b } HEX: 66 2-operand-rm-sse ;
484 : PMOVZXBW   ( dest src -- ) { HEX: 38 HEX: 30 } HEX: 66 2-operand-rm-sse ;
485 : PMOVZXBD   ( dest src -- ) { HEX: 38 HEX: 31 } HEX: 66 2-operand-rm-sse ;
486 : PMOVZXBQ   ( dest src -- ) { HEX: 38 HEX: 32 } HEX: 66 2-operand-rm-sse ;
487 : PMOVZXWD   ( dest src -- ) { HEX: 38 HEX: 33 } HEX: 66 2-operand-rm-sse ;
488 : PMOVZXWQ   ( dest src -- ) { HEX: 38 HEX: 34 } HEX: 66 2-operand-rm-sse ;
489 : PMOVZXDQ   ( dest src -- ) { HEX: 38 HEX: 35 } HEX: 66 2-operand-rm-sse ;
490 : PCMPGTQ    ( dest src -- ) { HEX: 38 HEX: 37 } HEX: 66 2-operand-rm-sse ;
491 : PMINSB     ( dest src -- ) { HEX: 38 HEX: 38 } HEX: 66 2-operand-rm-sse ;
492 : PMINSD     ( dest src -- ) { HEX: 38 HEX: 39 } HEX: 66 2-operand-rm-sse ;
493 : PMINUW     ( dest src -- ) { HEX: 38 HEX: 3a } HEX: 66 2-operand-rm-sse ;
494 : PMINUD     ( dest src -- ) { HEX: 38 HEX: 3b } HEX: 66 2-operand-rm-sse ;
495 : PMAXSB     ( dest src -- ) { HEX: 38 HEX: 3c } HEX: 66 2-operand-rm-sse ;
496 : PMAXSD     ( dest src -- ) { HEX: 38 HEX: 3d } HEX: 66 2-operand-rm-sse ;
497 : PMAXUW     ( dest src -- ) { HEX: 38 HEX: 3e } HEX: 66 2-operand-rm-sse ;
498 : PMAXUD     ( dest src -- ) { HEX: 38 HEX: 3f } HEX: 66 2-operand-rm-sse ;
499 : PMULLD     ( dest src -- ) { HEX: 38 HEX: 40 } HEX: 66 2-operand-rm-sse ;
500 : PHMINPOSUW ( dest src -- ) { HEX: 38 HEX: 41 } HEX: 66 2-operand-rm-sse ;
501 : CRC32B     ( dest src -- ) { HEX: 38 HEX: f0 } HEX: f2 2-operand-rm-sse ;
502 : CRC32      ( dest src -- ) { HEX: 38 HEX: f1 } HEX: f2 2-operand-rm-sse ;
503
504 : ROUNDPS    ( dest src imm -- ) { HEX: 3a HEX: 08 } HEX: 66 3-operand-rm-sse ;
505 : ROUNDPD    ( dest src imm -- ) { HEX: 3a HEX: 09 } HEX: 66 3-operand-rm-sse ;
506 : ROUNDSS    ( dest src imm -- ) { HEX: 3a HEX: 0a } HEX: 66 3-operand-rm-sse ;
507 : ROUNDSD    ( dest src imm -- ) { HEX: 3a HEX: 0b } HEX: 66 3-operand-rm-sse ;
508 : BLENDPS    ( dest src imm -- ) { HEX: 3a HEX: 0c } HEX: 66 3-operand-rm-sse ;
509 : BLENDPD    ( dest src imm -- ) { HEX: 3a HEX: 0d } HEX: 66 3-operand-rm-sse ;
510 : PBLENDW    ( dest src imm -- ) { HEX: 3a HEX: 0e } HEX: 66 3-operand-rm-sse ;
511 : PALIGNR    ( dest src imm -- ) { HEX: 3a HEX: 0f } HEX: 66 3-operand-rm-sse ;
512
513 : PEXTRB     ( dest src imm -- ) { HEX: 3a HEX: 14 } HEX: 66 3-operand-mr-sse ;
514
515 <PRIVATE
516 : (PEXTRW-sse1) ( dest src imm -- ) HEX: c5 HEX: 66 3-operand-rm-sse ;
517 : (PEXTRW-sse4) ( dest src imm -- ) { HEX: 3a HEX: 15 } HEX: 66 3-operand-mr-sse ;
518 PRIVATE>
519
520 : PEXTRW     ( dest src imm -- ) pick indirect? [ (PEXTRW-sse4) ] [ (PEXTRW-sse1) ] if ;
521 : PEXTRD     ( dest src imm -- ) { HEX: 3a HEX: 16 } HEX: 66 3-operand-mr-sse ;
522 ALIAS: PEXTRQ PEXTRD
523 : EXTRACTPS  ( dest src imm -- ) { HEX: 3a HEX: 17 } HEX: 66 3-operand-mr-sse ;
524
525 : PINSRB     ( dest src imm -- ) { HEX: 3a HEX: 20 } HEX: 66 3-operand-rm-sse ;
526 : INSERTPS   ( dest src imm -- ) { HEX: 3a HEX: 21 } HEX: 66 3-operand-rm-sse ;
527 : PINSRD     ( dest src imm -- ) { HEX: 3a HEX: 22 } HEX: 66 3-operand-rm-sse ;
528 ALIAS: PINSRQ PINSRD
529 : DPPS       ( dest src imm -- ) { HEX: 3a HEX: 40 } HEX: 66 3-operand-rm-sse ;
530 : DPPD       ( dest src imm -- ) { HEX: 3a HEX: 41 } HEX: 66 3-operand-rm-sse ;
531 : MPSADBW    ( dest src imm -- ) { HEX: 3a HEX: 42 } HEX: 66 3-operand-rm-sse ;
532 : PCMPESTRM  ( dest src imm -- ) { HEX: 3a HEX: 60 } HEX: 66 3-operand-rm-sse ;
533 : PCMPESTRI  ( dest src imm -- ) { HEX: 3a HEX: 61 } HEX: 66 3-operand-rm-sse ;
534 : PCMPISTRM  ( dest src imm -- ) { HEX: 3a HEX: 62 } HEX: 66 3-operand-rm-sse ;
535 : PCMPISTRI  ( dest src imm -- ) { HEX: 3a HEX: 63 } HEX: 66 3-operand-rm-sse ;
536
537 : MOVMSKPS   ( dest src -- ) HEX: 50 f       2-operand-int/sse ;
538 : MOVMSKPD   ( dest src -- ) HEX: 50 HEX: 66 2-operand-int/sse ;
539 : SQRTPS     ( dest src -- ) HEX: 51 f       2-operand-rm-sse ;
540 : SQRTPD     ( dest src -- ) HEX: 51 HEX: 66 2-operand-rm-sse ;
541 : SQRTSD     ( dest src -- ) HEX: 51 HEX: f2 2-operand-rm-sse ;
542 : SQRTSS     ( dest src -- ) HEX: 51 HEX: f3 2-operand-rm-sse ;
543 : RSQRTPS    ( dest src -- ) HEX: 52 f       2-operand-rm-sse ;
544 : RSQRTSS    ( dest src -- ) HEX: 52 HEX: f3 2-operand-rm-sse ;
545 : RCPPS      ( dest src -- ) HEX: 53 f       2-operand-rm-sse ;
546 : RCPSS      ( dest src -- ) HEX: 53 HEX: f3 2-operand-rm-sse ;
547 : ANDPS      ( dest src -- ) HEX: 54 f       2-operand-rm-sse ;
548 : ANDPD      ( dest src -- ) HEX: 54 HEX: 66 2-operand-rm-sse ;
549 : ANDNPS     ( dest src -- ) HEX: 55 f       2-operand-rm-sse ;
550 : ANDNPD     ( dest src -- ) HEX: 55 HEX: 66 2-operand-rm-sse ;
551 : ORPS       ( dest src -- ) HEX: 56 f       2-operand-rm-sse ;
552 : ORPD       ( dest src -- ) HEX: 56 HEX: 66 2-operand-rm-sse ;
553 : XORPS      ( dest src -- ) HEX: 57 f       2-operand-rm-sse ;
554 : XORPD      ( dest src -- ) HEX: 57 HEX: 66 2-operand-rm-sse ;
555 : ADDPS      ( dest src -- ) HEX: 58 f       2-operand-rm-sse ;
556 : ADDPD      ( dest src -- ) HEX: 58 HEX: 66 2-operand-rm-sse ;
557 : ADDSD      ( dest src -- ) HEX: 58 HEX: f2 2-operand-rm-sse ;
558 : ADDSS      ( dest src -- ) HEX: 58 HEX: f3 2-operand-rm-sse ;
559 : MULPS      ( dest src -- ) HEX: 59 f       2-operand-rm-sse ;
560 : MULPD      ( dest src -- ) HEX: 59 HEX: 66 2-operand-rm-sse ;
561 : MULSD      ( dest src -- ) HEX: 59 HEX: f2 2-operand-rm-sse ;
562 : MULSS      ( dest src -- ) HEX: 59 HEX: f3 2-operand-rm-sse ;
563 : CVTPS2PD   ( dest src -- ) HEX: 5a f       2-operand-rm-sse ;
564 : CVTPD2PS   ( dest src -- ) HEX: 5a HEX: 66 2-operand-rm-sse ;
565 : CVTSD2SS   ( dest src -- ) HEX: 5a HEX: f2 2-operand-rm-sse ;
566 : CVTSS2SD   ( dest src -- ) HEX: 5a HEX: f3 2-operand-rm-sse ;
567 : CVTDQ2PS   ( dest src -- ) HEX: 5b f       2-operand-rm-sse ;
568 : CVTPS2DQ   ( dest src -- ) HEX: 5b HEX: 66 2-operand-rm-sse ;
569 : CVTTPS2DQ  ( dest src -- ) HEX: 5b HEX: f3 2-operand-rm-sse ;
570 : SUBPS      ( dest src -- ) HEX: 5c f       2-operand-rm-sse ;
571 : SUBPD      ( dest src -- ) HEX: 5c HEX: 66 2-operand-rm-sse ;
572 : SUBSD      ( dest src -- ) HEX: 5c HEX: f2 2-operand-rm-sse ;
573 : SUBSS      ( dest src -- ) HEX: 5c HEX: f3 2-operand-rm-sse ;
574 : MINPS      ( dest src -- ) HEX: 5d f       2-operand-rm-sse ;
575 : MINPD      ( dest src -- ) HEX: 5d HEX: 66 2-operand-rm-sse ;
576 : MINSD      ( dest src -- ) HEX: 5d HEX: f2 2-operand-rm-sse ;
577 : MINSS      ( dest src -- ) HEX: 5d HEX: f3 2-operand-rm-sse ;
578 : DIVPS      ( dest src -- ) HEX: 5e f       2-operand-rm-sse ;
579 : DIVPD      ( dest src -- ) HEX: 5e HEX: 66 2-operand-rm-sse ;
580 : DIVSD      ( dest src -- ) HEX: 5e HEX: f2 2-operand-rm-sse ;
581 : DIVSS      ( dest src -- ) HEX: 5e HEX: f3 2-operand-rm-sse ;
582 : MAXPS      ( dest src -- ) HEX: 5f f       2-operand-rm-sse ;
583 : MAXPD      ( dest src -- ) HEX: 5f HEX: 66 2-operand-rm-sse ;
584 : MAXSD      ( dest src -- ) HEX: 5f HEX: f2 2-operand-rm-sse ;
585 : MAXSS      ( dest src -- ) HEX: 5f HEX: f3 2-operand-rm-sse ;
586 : PUNPCKLQDQ ( dest src -- ) HEX: 6c HEX: 66 2-operand-rm-sse ;
587 : PUNPCKHQDQ ( dest src -- ) HEX: 6d HEX: 66 2-operand-rm-sse ;
588
589 : MOVDQA     ( dest src -- ) { HEX: 6f HEX: 7f } HEX: 66 2-operand-rm-mr-sse ;
590 : MOVDQU     ( dest src -- ) { HEX: 6f HEX: 7f } HEX: f3 2-operand-rm-mr-sse ;
591
592 : PSHUFD     ( dest src imm -- ) HEX: 70 HEX: 66 3-operand-rm-sse ;
593 : PSHUFLW    ( dest src imm -- ) HEX: 70 HEX: f2 3-operand-rm-sse ;
594 : PSHUFHW    ( dest src imm -- ) HEX: 70 HEX: f3 3-operand-rm-sse ;
595 : PSRLW      ( dest imm -- ) BIN: 010 HEX: 71 HEX: 66 2-operand-sse-shift ;
596 : PSRAW      ( dest imm -- ) BIN: 100 HEX: 71 HEX: 66 2-operand-sse-shift ;
597 : PSLLW      ( dest imm -- ) BIN: 110 HEX: 71 HEX: 66 2-operand-sse-shift ;
598 : PSRLD      ( dest imm -- ) BIN: 010 HEX: 72 HEX: 66 2-operand-sse-shift ;
599 : PSRAD      ( dest imm -- ) BIN: 100 HEX: 72 HEX: 66 2-operand-sse-shift ;
600 : PSLLD      ( dest imm -- ) BIN: 110 HEX: 72 HEX: 66 2-operand-sse-shift ;
601 : PSRLQ      ( dest imm -- ) BIN: 010 HEX: 73 HEX: 66 2-operand-sse-shift ;
602 : PSRLDQ     ( dest imm -- ) BIN: 011 HEX: 73 HEX: 66 2-operand-sse-shift ;
603 : PSLLQ      ( dest imm -- ) BIN: 110 HEX: 73 HEX: 66 2-operand-sse-shift ;
604 : PSLLDQ     ( dest imm -- ) BIN: 111 HEX: 73 HEX: 66 2-operand-sse-shift ;
605
606 : PCMPEQB    ( dest src -- ) HEX: 74 HEX: 66 2-operand-rm-sse ;
607 : PCMPEQW    ( dest src -- ) HEX: 75 HEX: 66 2-operand-rm-sse ;
608 : PCMPEQD    ( dest src -- ) HEX: 76 HEX: 66 2-operand-rm-sse ;
609 : HADDPD     ( dest src -- ) HEX: 7c HEX: 66 2-operand-rm-sse ;
610 : HADDPS     ( dest src -- ) HEX: 7c HEX: f2 2-operand-rm-sse ;
611 : HSUBPD     ( dest src -- ) HEX: 7d HEX: 66 2-operand-rm-sse ;
612 : HSUBPS     ( dest src -- ) HEX: 7d HEX: f2 2-operand-rm-sse ;
613
614 : LDMXCSR    ( src -- )  { BIN: 010 f { HEX: 0f HEX: ae } } 1-operand ;
615 : STMXCSR    ( dest -- ) { BIN: 011 f { HEX: 0f HEX: ae } } 1-operand ;
616 : LFENCE     ( -- ) HEX: 0f , HEX: ae , OCT: 350 , ;
617 : MFENCE     ( -- ) HEX: 0f , HEX: ae , OCT: 360 , ;
618 : SFENCE     ( -- ) HEX: 0f , HEX: ae , OCT: 370 , ;
619
620 : POPCNT     ( dest src -- ) HEX: b8 HEX: f3 2-operand-rm-sse ;
621
622 : CMPEQPS    ( dest src -- ) 0 HEX: c2 f       2-operand-sse-cmp ;
623 : CMPLTPS    ( dest src -- ) 1 HEX: c2 f       2-operand-sse-cmp ;
624 : CMPLEPS    ( dest src -- ) 2 HEX: c2 f       2-operand-sse-cmp ;
625 : CMPUNORDPS ( dest src -- ) 3 HEX: c2 f       2-operand-sse-cmp ;
626 : CMPNEQPS   ( dest src -- ) 4 HEX: c2 f       2-operand-sse-cmp ;
627 : CMPNLTPS   ( dest src -- ) 5 HEX: c2 f       2-operand-sse-cmp ;
628 : CMPNLEPS   ( dest src -- ) 6 HEX: c2 f       2-operand-sse-cmp ;
629 : CMPORDPS   ( dest src -- ) 7 HEX: c2 f       2-operand-sse-cmp ;
630
631 : CMPEQPD    ( dest src -- ) 0 HEX: c2 HEX: 66 2-operand-sse-cmp ;
632 : CMPLTPD    ( dest src -- ) 1 HEX: c2 HEX: 66 2-operand-sse-cmp ;
633 : CMPLEPD    ( dest src -- ) 2 HEX: c2 HEX: 66 2-operand-sse-cmp ;
634 : CMPUNORDPD ( dest src -- ) 3 HEX: c2 HEX: 66 2-operand-sse-cmp ;
635 : CMPNEQPD   ( dest src -- ) 4 HEX: c2 HEX: 66 2-operand-sse-cmp ;
636 : CMPNLTPD   ( dest src -- ) 5 HEX: c2 HEX: 66 2-operand-sse-cmp ;
637 : CMPNLEPD   ( dest src -- ) 6 HEX: c2 HEX: 66 2-operand-sse-cmp ;
638 : CMPORDPD   ( dest src -- ) 7 HEX: c2 HEX: 66 2-operand-sse-cmp ;
639
640 : CMPEQSD    ( dest src -- ) 0 HEX: c2 HEX: f2 2-operand-sse-cmp ;
641 : CMPLTSD    ( dest src -- ) 1 HEX: c2 HEX: f2 2-operand-sse-cmp ;
642 : CMPLESD    ( dest src -- ) 2 HEX: c2 HEX: f2 2-operand-sse-cmp ;
643 : CMPUNORDSD ( dest src -- ) 3 HEX: c2 HEX: f2 2-operand-sse-cmp ;
644 : CMPNEQSD   ( dest src -- ) 4 HEX: c2 HEX: f2 2-operand-sse-cmp ;
645 : CMPNLTSD   ( dest src -- ) 5 HEX: c2 HEX: f2 2-operand-sse-cmp ;
646 : CMPNLESD   ( dest src -- ) 6 HEX: c2 HEX: f2 2-operand-sse-cmp ;
647 : CMPORDSD   ( dest src -- ) 7 HEX: c2 HEX: f2 2-operand-sse-cmp ;
648
649 : CMPEQSS    ( dest src -- ) 0 HEX: c2 HEX: f3 2-operand-sse-cmp ;
650 : CMPLTSS    ( dest src -- ) 1 HEX: c2 HEX: f3 2-operand-sse-cmp ;
651 : CMPLESS    ( dest src -- ) 2 HEX: c2 HEX: f3 2-operand-sse-cmp ;
652 : CMPUNORDSS ( dest src -- ) 3 HEX: c2 HEX: f3 2-operand-sse-cmp ;
653 : CMPNEQSS   ( dest src -- ) 4 HEX: c2 HEX: f3 2-operand-sse-cmp ;
654 : CMPNLTSS   ( dest src -- ) 5 HEX: c2 HEX: f3 2-operand-sse-cmp ;
655 : CMPNLESS   ( dest src -- ) 6 HEX: c2 HEX: f3 2-operand-sse-cmp ;
656 : CMPORDSS   ( dest src -- ) 7 HEX: c2 HEX: f3 2-operand-sse-cmp ;
657
658 : MOVNTI     ( dest src -- ) { HEX: 0f HEX: c3 } (2-operand) ;
659
660 : PINSRW     ( dest src imm -- ) HEX: c4 HEX: 66 3-operand-rm-sse ;
661 : SHUFPS     ( dest src imm -- ) HEX: c6 f       3-operand-rm-sse ;
662 : SHUFPD     ( dest src imm -- ) HEX: c6 HEX: 66 3-operand-rm-sse ;
663
664 : ADDSUBPD   ( dest src -- ) HEX: d0 HEX: 66 2-operand-rm-sse ;
665 : ADDSUBPS   ( dest src -- ) HEX: d0 HEX: f2 2-operand-rm-sse ;
666 : PADDQ      ( dest src -- ) HEX: d4 HEX: 66 2-operand-rm-sse ;
667 : PMINUB     ( dest src -- ) HEX: da HEX: 66 2-operand-rm-sse ;
668 : PMAXUB     ( dest src -- ) HEX: de HEX: 66 2-operand-rm-sse ;
669 : PAVGB      ( dest src -- ) HEX: e0 HEX: 66 2-operand-rm-sse ;
670 : PAVGW      ( dest src -- ) HEX: e3 HEX: 66 2-operand-rm-sse ;
671 : PMULHUW    ( dest src -- ) HEX: e4 HEX: 66 2-operand-rm-sse ;
672 : CVTTPD2DQ  ( dest src -- ) HEX: e6 HEX: 66 2-operand-rm-sse ;
673 : CVTPD2DQ   ( dest src -- ) HEX: e6 HEX: f2 2-operand-rm-sse ;
674 : CVTDQ2PD   ( dest src -- ) HEX: e6 HEX: f3 2-operand-rm-sse ;
675
676 : MOVNTDQ    ( dest src -- ) HEX: e7 HEX: 66 2-operand-mr-sse ;
677
678 : PMINSW     ( dest src -- ) HEX: ea HEX: 66 2-operand-rm-sse ;
679 : PMAXSW     ( dest src -- ) HEX: ee HEX: 66 2-operand-rm-sse ;
680 : LDDQU      ( dest src -- ) HEX: f0 HEX: f2 2-operand-rm-sse ;
681 : PMULUDQ    ( dest src -- ) HEX: f4 HEX: 66 2-operand-rm-sse ;
682 : PSADBW     ( dest src -- ) HEX: f6 HEX: 66 2-operand-rm-sse ;
683
684 : MASKMOVDQU ( dest src -- ) HEX: f7 HEX: 66 2-operand-rm-sse ;
685
686 : PSUBQ      ( dest src -- ) HEX: fb HEX: 66 2-operand-rm-sse ;
687
688 ! x86-64 branch prediction hints
689
690 : HWNT ( -- ) HEX: 2e , ; ! Hint branch Weakly Not Taken
691 : HST  ( -- ) HEX: 3e , ; ! Hint branch Strongly Taken
692