basis/regexp/classes/classes.factor

   1 ! Copyright (C) 2008, 2009 Doug Coleman, Daniel Ehrenberg.
   2 ! See http://factorcode.org/license.txt for BSD license.
   3 USING: accessors kernel math math.order words combinators locals
   4 ascii unicode.categories combinators.short-circuit sequences ;
   5 IN: regexp.classes
   6
   7 SINGLETONS: any-char any-char-no-nl
   8 letter-class LETTER-class Letter-class digit-class
   9 alpha-class non-newline-blank-class
  10 ascii-class punctuation-class java-printable-class blank-class
  11 control-character-class hex-digit-class java-blank-class c-identifier-class
  12 unmatchable-class terminator-class word-boundary-class ;
  13
  14 SINGLETONS: beginning-of-input ^ end-of-input $ ;
  15
  16 TUPLE: range from to ;
  17 C: <range> range
  18
  19 GENERIC: class-member? ( obj class -- ? )
  20
  21 M: t class-member? ( obj class -- ? ) 2drop t ;
  22
  23 M: integer class-member? ( obj class -- ? ) = ;
  24
  25 M: range class-member? ( obj class -- ? )
  26     [ from>> ] [ to>> ] bi between? ;
  27
  28 M: any-char class-member? ( obj class -- ? )
  29     2drop t ;
  30
  31 M: any-char-no-nl class-member? ( obj class -- ? )
  32     drop CHAR: \n = not ;
  33
  34 M: letter-class class-member? ( obj class -- ? )
  35     drop letter? ;
  36
  37 M: LETTER-class class-member? ( obj class -- ? )
  38     drop LETTER? ;
  39
  40 M: Letter-class class-member? ( obj class -- ? )
  41     drop Letter? ;
  42
  43 M: ascii-class class-member? ( obj class -- ? )
  44     drop ascii? ;
  45
  46 M: digit-class class-member? ( obj class -- ? )
  47     drop digit? ;
  48
  49 : c-identifier-char? ( ch -- ? )
  50     { [ alpha? ] [ CHAR: _ = ] } 1|| ;
  51
  52 M: c-identifier-class class-member? ( obj class -- ? )
  53     drop c-identifier-char? ;
  54
  55 M: alpha-class class-member? ( obj class -- ? )
  56     drop alpha? ;
  57
  58 : punct? ( ch -- ? )
  59     "!\"#$%&'()*+,-./:;<=>?@[\\]^_`{|}~" member? ;
  60
  61 M: punctuation-class class-member? ( obj class -- ? )
  62     drop punct? ;
  63
  64 : java-printable? ( ch -- ? )
  65     { [ alpha? ] [ punct? ] } 1|| ;
  66
  67 M: java-printable-class class-member? ( obj class -- ? )
  68     drop java-printable? ;
  69
  70 M: non-newline-blank-class class-member? ( obj class -- ? )
  71     drop { [ blank? ] [ CHAR: \n = not ] } 1&& ;
  72
  73 M: control-character-class class-member? ( obj class -- ? )
  74     drop control? ;
  75
  76 : hex-digit? ( ch -- ? )
  77     {
  78         [ CHAR: A CHAR: F between? ]
  79         [ CHAR: a CHAR: f between? ]
  80         [ CHAR: 0 CHAR: 9 between? ]
  81     } 1|| ;
  82
  83 M: hex-digit-class class-member? ( obj class -- ? )
  84     drop hex-digit? ;
  85
  86 : java-blank? ( ch -- ? )
  87     {
  88         CHAR: \s CHAR: \t CHAR: \n
  89         HEX: b HEX: 7 CHAR: \r
  90     } member? ;
  91
  92 M: java-blank-class class-member? ( obj class -- ? )
  93     drop java-blank? ;
  94
  95 M: unmatchable-class class-member? ( obj class -- ? )
  96     2drop f ;
  97
  98 M: terminator-class class-member? ( obj class -- ? )
  99     drop "\r\n\u000085\u002029\u002028" member? ;
 100
 101 M: ^ class-member? ( obj class -- ? )
 102     2drop f ;
 103
 104 M: $ class-member? ( obj class -- ? )
 105     2drop f ;
 106
 107 M: f class-member? 2drop f ;
 108
 109 TUPLE: primitive-class class ;
 110 C: <primitive-class> primitive-class
 111
 112 TUPLE: or-class seq ;
 113
 114 TUPLE: not-class class ;
 115
 116 TUPLE: and-class seq ;
 117
 118 GENERIC: combine-and ( class1 class2 -- combined ? )
 119
 120 : replace-if-= ( object object -- object ? )
 121     over = ;
 122
 123 M: object combine-and replace-if-= ;
 124
 125 M: t combine-and
 126     drop t ;
 127
 128 M: f combine-and
 129     nip t ;
 130
 131 M: not-class combine-and
 132     class>> = [ f t ] [ f f ] if ;
 133
 134 M: integer combine-and
 135     swap 2dup class-member? [ drop t ] [ 2drop f t ] if ;
 136
 137 GENERIC: combine-or ( class1 class2 -- combined ? )
 138
 139 M: object combine-or replace-if-= ;
 140
 141 M: t combine-or
 142     drop f ;
 143
 144 M: f combine-or
 145     drop t ;
 146
 147 M: not-class combine-or
 148     class>> = [ t t ] [ f f ] if ;
 149
 150 M: integer combine-or
 151     2dup swap class-member? [ drop t ] [ 2drop f f ] if ;
 152
 153 : try-combine ( elt1 elt2 quot -- combined/f ? )
 154     3dup call [ [ 3drop ] dip t ] [ drop swapd call ] if ; inline
 155
 156 :: prefix-combining ( seq elt quot: ( elt1 elt2 -- combined/f ? ) -- newseq )
 157     f :> combined!
 158     seq [ elt quot try-combine swap combined! ] find drop
 159     [ seq remove-nth combined prefix ]
 160     [ seq elt prefix ] if* ; inline
 161
 162 :: combine ( seq quot: ( elt1 elt2 -- combined/f ? ) empty class -- newseq )
 163     seq { } [ quot prefix-combining ] reduce
 164     dup length {
 165         { 0 [ drop empty ] }
 166         { 1 [ first ] }
 167         [ drop class new swap >>seq ]
 168     } case ; inline
 169
 170 : <and-class> ( seq -- class )
 171     [ combine-and ] t and-class combine ;
 172
 173 M: and-class class-member?
 174     seq>> [ class-member? ] with all? ;
 175
 176 : <or-class> ( seq -- class )
 177     [ combine-or ] f or-class combine ;
 178
 179 M: or-class class-member?
 180     seq>> [ class-member? ] with any? ;
 181
 182 : <not-class> ( class -- inverse )
 183     {
 184         { t [ f ] }
 185         { f [ t ] }
 186         [ dup not-class? [ class>> ] [ not-class boa ] if ]
 187     } case ;
 188
 189 M: not-class class-member?
 190     class>> class-member? not ;
 191
 192 M: primitive-class class-member?
 193     class>> class-member? ;
 194
 195 UNION: class primitive-class not-class or-class range ;