vm/cpu-x86.64.S

   1 #include "asm.h"
   2
   3 #define STACK_REG %rsp
   4 #define DS_REG %r14
   5 #define RETURN_REG %rax
   6
   7 #define CELL_SIZE 8
   8 #define STACK_PADDING 56
   9
  10 #define NV_TEMP_REG %rbp
  11
  12 #define ARITH_TEMP_1 %r8
  13 #define ARITH_TEMP_2 %r9
  14 #define DIV_RESULT %rax
  15
  16 #ifdef WINDOWS
  17
  18         #define ARG0 %rcx
  19         #define ARG1 %rdx
  20         #define ARG2 %r8
  21         #define ARG3 %r9
  22
  23         #define PUSH_NONVOLATILE \
  24                 push %r12 ; \
  25                 push %r13 ; \
  26                 push %rdi ; \
  27                 push %rsi ; \
  28                 push %rbx ; \
  29                 push %rbp ; \
  30                 push %rbp
  31
  32         #define POP_NONVOLATILE \
  33                 pop %rbp ; \
  34                 pop %rbp ; \
  35                 pop %rbx ; \
  36                 pop %rsi ; \
  37                 pop %rdi ; \
  38                 pop %r13 ; \
  39                 pop %r12
  40
  41 #else
  42
  43         #define ARG0 %rdi
  44         #define ARG1 %rsi
  45         #define ARG2 %rdx
  46         #define ARG3 %rcx
  47
  48         #define PUSH_NONVOLATILE \
  49                 push %rbx ; \
  50                 push %rbp ; \
  51                 push %r12 ; \
  52                 push %r13 ; \
  53                 push %r13
  54
  55         #define POP_NONVOLATILE \
  56                 pop %r13 ; \
  57                 pop %r13 ; \
  58                 pop %r12 ; \
  59                 pop %rbp ; \
  60                 pop %rbx
  61
  62 #endif
  63
  64 #define QUOT_XT_OFFSET 28
  65
  66 /* We pass a function pointer to memcpy to work around a Mac OS X
  67 ABI limitation which would otherwise require us to do a bizzaro PC-relative
  68 trampoline to retrieve the function address */
  69 DEF(void,set_callstack,(F_STACK_FRAME *to, F_STACK_FRAME *from, CELL length, void *memcpy)):
  70         sub ARG2,ARG0                      /* compute new stack pointer */
  71         mov ARG0,%rsp
  72         call *ARG3                         /* call memcpy */
  73         ret                                /* return _with new stack_ */
  74
  75 DEF(long long,read_timestamp_counter,(void)):
  76         mov $0,%rax
  77         rdtsc
  78         shl $32,%rdx
  79         or %rdx,%rax
  80         ret
  81
  82 DEF(void,primitive_inline_cache_miss,(void *vm)):
  83         mov (%rsp),%rbx
  84 DEF(void,primitive_inline_cache_miss_tail,(void *vm)):
  85         sub $STACK_PADDING,%rsp
  86         mov ARG0,ARG1
  87         mov %rbx,ARG0
  88         call MANGLE(inline_cache_miss)
  89         add $STACK_PADDING,%rsp
  90         jmp *%rax
  91
  92
  93 DEF(void,get_sse_env,(void*)):
  94         stmxcsr (%rdi)
  95         ret
  96
  97 DEF(void,set_sse_env,(const void*)):
  98         ldmxcsr (%rdi)
  99         ret
 100
 101 DEF(void,get_x87_env,(void*)):
 102         fnstsw (%rdi)
 103         fnstcw 2(%rdi)
 104         ret
 105
 106 DEF(void,set_x87_env,(const void*)):
 107         fnclex
 108         fldcw 2(%rdi)
 109         ret
 110
 111 DEF(F_FASTCALL void,throw_impl,(CELL quot, F_STACK_FRAME *rewind_to, void *vm)):
 112         /* clear x87 stack, but preserve rounding mode and exception flags */
 113         sub $2,STACK_REG
 114         fnstcw (STACK_REG)
 115         fninit
 116         fldcw (STACK_REG)
 117         /* rewind_to */
 118         mov ARG1,STACK_REG
 119         mov ARG2,ARG1  /* make vm ptr 2nd arg in case quot_xt = lazy_jit_compile */
 120         jmp *QUOT_XT_OFFSET(ARG0)
 121
 122 DEF(F_FASTCALL void,lazy_jit_compile,(CELL quot, void *vm)):
 123         mov ARG1,ARG2                /* vm is 3rd arg */
 124         mov STACK_REG,ARG1           /* Save stack pointer */
 125         sub $STACK_PADDING,STACK_REG
 126         call MANGLE(lazy_jit_compile_impl)
 127         mov RETURN_REG,ARG0          /* No-op on 32-bit */
 128         add $STACK_PADDING,STACK_REG
 129         jmp *QUOT_XT_OFFSET(ARG0)    /* Call the quotation */
 130
 131
 132 #include "cpu-x86.S"