basis/simple-tokenizer/simple-tokenizer-docs.factor

   1 USING: help.markup help.syntax strings ;
   2 IN: simple-tokenizer
   3
   4 HELP: tokenize
   5 { $values { "input" string } { "ast" "a sequence of strings" } }
   6 { $description
   7     "Tokenize a string. Supported syntax:"
   8     { $list
   9         { { $snippet "foo bar baz" } " - simple tokens" }
  10         { { $snippet "foo\\ bar" } " - token with an escaped space" }
  11         { { $snippet "\"foo bar\"" } " - quoted token" }
  12     }
  13 } ;