extra/infix/tokenizer/tokenizer-tests.factor

   1 ! Copyright (C) 2009 Philipp Brüschweiler
   2 ! See https://factorcode.org/license.txt for BSD license.
   3 USING: infix.ast infix.tokenizer tools.test ;
   4 IN: infix.tokenizer.tests
   5
   6 { V{ T{ ast-value f 1 } } } [ "1" tokenize-infix ] unit-test
   7 { V{ T{ ast-value f 1.02 } CHAR: * T{ ast-value f 3 } } } [ "1.02*3" tokenize-infix ] unit-test
   8 { V{ T{ ast-value f 3 } CHAR: / CHAR: ( T{ ast-value f 3 } CHAR: + T{ ast-value f 4 } CHAR: ) } }
   9 [ "3/(3+4)" tokenize-infix ] unit-test
  10 { V{ "foo"  CHAR: ( "x" CHAR: , "y" CHAR: , "z" CHAR: ) } } [ "foo(x,y,z)" tokenize-infix ] unit-test
  11 { V{ "arr"  CHAR: [ "x" CHAR: + T{ ast-value f 3 } CHAR: ] } }
  12 [ "arr[x+3]" tokenize-infix ] unit-test
  13 [ "1.0.4" tokenize-infix ] must-fail
  14 { V{ CHAR: + CHAR: ] T{ ast-value f 3.4 } CHAR: , "bar" } }
  15 [ "+]3.4,bar" tokenize-infix ] unit-test
  16 { V{ "baz_34c" } } [ "baz_34c" tokenize-infix ] unit-test
  17 { V{ T{ ast-value f 34 } "c_baz" } } [ "34c_baz"  tokenize-infix ] unit-test
  18 { V{ CHAR: ( T{ ast-value f 1 } CHAR: + T{ ast-value f 2 } CHAR: ) } }
  19 [ "(1+2)" tokenize-infix ] unit-test
  20 { V{ T{ ast-value f 1 } CHAR: + T{ ast-value f 2 } CHAR: / T{ ast-value f 3 } } }
  21 [ "1\n+\r2\t/ 3" tokenize-infix ] unit-test