basis/xmode/tokens/tokens.factor

   1 USING: accessors parser words words.symbol
   2 sequences namespaces kernel assocs
   3 compiler.units ;
   4 IN: xmode.tokens
   5
   6 ! Based on org.gjt.sp.jedit.syntax.Token
   7 <<
   8 SYMBOL: tokens
   9
  10 { "COMMENT1" "COMMENT2" "COMMENT3" "COMMENT4" "DIGIT" "FUNCTION" "INVALID" "KEYWORD1" "KEYWORD2" "KEYWORD3" "KEYWORD4" "LABEL" "LITERAL1" "LITERAL2" "LITERAL3" "LITERAL4" "MARKUP" "OPERATOR" "END" "NULL" } [
  11     create-in dup define-symbol
  12     dup name>> swap
  13 ] H{ } map>assoc tokens set-global
  14 >>
  15
  16 : string>token ( string -- id ) tokens get at ;
  17
  18 TUPLE: token str id ;
  19
  20 C: <token> token