basis/farkup/farkup.factor

   1 ! Copyright (C) 2008, 2009 Doug Coleman, Daniel Ehrenberg.
   2 ! See http://factorcode.org/license.txt for BSD license.
   3 USING: sequences kernel splitting lists fry accessors assocs math.order
   4 math combinators namespaces urls.encoding xml.syntax xmode.code2html
   5 xml.data arrays strings vectors xml.writer io.streams.string locals
   6 unicode.categories ;
   7 IN: farkup
   8
   9 SYMBOL: relative-link-prefix
  10 SYMBOL: disable-images?
  11 SYMBOL: link-no-follow?
  12 SYMBOL: line-breaks?
  13
  14 TUPLE: heading1 child ;
  15 TUPLE: heading2 child ;
  16 TUPLE: heading3 child ;
  17 TUPLE: heading4 child ;
  18 TUPLE: strong child ;
  19 TUPLE: emphasis child ;
  20 TUPLE: superscript child ;
  21 TUPLE: subscript child ;
  22 TUPLE: inline-code child ;
  23 TUPLE: paragraph child ;
  24 TUPLE: list-item child ;
  25 TUPLE: unordered-list child ;
  26 TUPLE: ordered-list child ;
  27 TUPLE: table child ;
  28 TUPLE: table-row child ;
  29 TUPLE: link href text ;
  30 TUPLE: image href text ;
  31 TUPLE: code mode string ;
  32 TUPLE: line ;
  33 TUPLE: line-break ;
  34
  35 : absolute-url? ( string -- ? )
  36     { "http://" "https://" "ftp://" } [ head? ] with any? ;
  37
  38 : simple-link-title ( string -- string' )
  39     dup absolute-url? [ "/" split1-last swap or ] unless ;
  40
  41 ! _foo*bar_baz*bing works like <i>foo*bar</i>baz<b>bing</b>
  42 ! I could support overlapping, but there's not a good use case for it.
  43
  44 DEFER: (parse-paragraph)
  45
  46 : parse-paragraph ( string -- seq )
  47     (parse-paragraph) list>array ;
  48
  49 : make-paragraph ( string -- paragraph )
  50     parse-paragraph paragraph boa ;
  51
  52 : cut-half-slice ( string i -- before after-slice )
  53     [ head ] [ 1+ short tail-slice ] 2bi ;
  54
  55 : find-cut ( string quot -- before after delimiter )
  56     dupd find
  57     [ [ cut-half-slice ] [ f ] if* ] dip ; inline
  58
  59 : parse-delimiter ( string delimiter class -- paragraph )
  60     [ '[ _ = ] find-cut drop ] dip
  61     '[ parse-paragraph _ new swap >>child ]
  62     [ (parse-paragraph) ] bi* cons ;
  63
  64 : delimiter-class ( delimiter -- class )
  65     H{
  66         { CHAR: * strong }
  67         { CHAR: _ emphasis }
  68         { CHAR: ^ superscript }
  69         { CHAR: ~ subscript }
  70         { CHAR: % inline-code }
  71     } at ;
  72
  73 : parse-link ( string -- paragraph-list )
  74     rest-slice "]]" split1-slice [
  75         "|" split1
  76         [ "" like dup simple-link-title ] unless*
  77         [ "image:" ?head ] dip swap [ image boa ] [ parse-paragraph link boa ] if
  78     ] dip [ (parse-paragraph) cons ] [ 1list ] if* ;
  79
  80 : ?first ( seq -- elt ) 0 swap ?nth ;
  81
  82 : parse-big-link ( before after -- link rest )
  83     dup ?first CHAR: [ =
  84     [ parse-link ]
  85     [ [ CHAR: [ suffix ] [ (parse-paragraph) ] bi* ]
  86     if ;
  87
  88 : escape ( before after -- before' after' )
  89     [ nil ] [ unclip-slice swap [ suffix ] dip (parse-paragraph) ] if-empty ;
  90
  91 : (parse-paragraph) ( string -- list )
  92     [ nil ] [
  93         [ "*_^~%[\\" member? ] find-cut [
  94             {
  95                 { CHAR: [ [ parse-big-link ] }
  96                 { CHAR: \\ [ escape ] }
  97                 [ dup delimiter-class parse-delimiter ]
  98             } case cons
  99         ] [ drop "" like 1list ] if*
 100     ] if-empty ;
 101
 102 : <farkup-state> ( string -- state ) string-lines ;
 103 : look ( state i -- char ) swap first ?nth ;
 104 : done? ( state -- ? ) empty? ;
 105 : take-line ( state -- state' line ) unclip-slice ;
 106
 107 : take-lines ( state char -- state' lines )
 108     dupd '[ ?first _ = not ] find drop
 109     [ cut-slice ] [ f ] if* swap ;
 110
 111 :: (take-until) ( state delimiter accum -- string/f state' )
 112     state empty? [ accum "\n" join f ] [
 113         state unclip-slice :> first :> rest
 114         first delimiter split1 :> after :> before
 115         before accum push
 116         after [
 117             accum "\n" join
 118             rest after prefix
 119         ] [
 120             rest delimiter accum (take-until)
 121         ] if
 122     ] if ;
 123
 124 : take-until ( state delimiter -- string/f state' )
 125     V{ } clone (take-until) ;
 126
 127 : count= ( string -- n )
 128     dup <reversed> [ [ CHAR: = = not ] find drop 0 or ] bi@ min ;
 129
 130 : trim= ( string -- string' )
 131     [ CHAR: = = ] trim ;
 132
 133 : make-heading ( string class -- heading )
 134     [ trim= parse-paragraph ] dip boa ; inline
 135
 136 : parse-heading ( state -- state' heading )
 137     take-line dup count= {
 138         { 0 [ make-paragraph ] }
 139         { 1 [ heading1 make-heading ] }
 140         { 2 [ heading2 make-heading ] }
 141         { 3 [ heading3 make-heading ] }
 142         { 4 [ heading4 make-heading ] }
 143         [ drop heading4 make-heading ]
 144     } case ;
 145
 146 : trim-row ( seq -- seq' )
 147     rest
 148     dup peek empty? [ but-last ] when ;
 149
 150 : ?peek ( seq -- elt/f )
 151     [ f ] [ peek ] if-empty ;
 152
 153 : coalesce ( rows -- rows' )
 154     V{ } clone [
 155         '[
 156             _ dup ?peek ?peek CHAR: \\ =
 157             [ [ pop "|" rot 3append ] keep ] when
 158             push
 159         ] each
 160     ] keep ;
 161
 162 : parse-table ( state -- state' table )
 163     CHAR: | take-lines [
 164         "|" split
 165         trim-row
 166         coalesce
 167         [ parse-paragraph ] map
 168         table-row boa
 169     ] map table boa ;
 170
 171 : parse-line ( state -- state' item )
 172     take-line dup "___" =
 173     [ drop line new ] [ make-paragraph ] if ;
 174
 175 : parse-list ( state char class -- state' list )
 176     [
 177         take-lines
 178         [ rest parse-paragraph list-item boa ] map
 179     ] dip boa ; inline
 180
 181 : parse-ul ( state -- state' ul )
 182     CHAR: - unordered-list parse-list ;
 183
 184 : parse-ol ( state -- state' ul )
 185     CHAR: # ordered-list parse-list ;
 186
 187 : parse-code ( state -- state' item )
 188     dup 1 look CHAR: [ =
 189     [ unclip-slice make-paragraph ] [
 190         "{" take-until
 191         [ rest ] dip
 192         "}]" take-until
 193         [ code boa ] dip swap
 194     ] if ;
 195
 196 : parse-item ( state -- state' item )
 197     dup 0 look {
 198         { CHAR: = [ parse-heading ] }
 199         { CHAR: | [ parse-table ] }
 200         { CHAR: _ [ parse-line ] }
 201         { CHAR: - [ parse-ul ] }
 202         { CHAR: # [ parse-ol ] }
 203         { CHAR: [ [ parse-code ] }
 204         { f [ rest-slice f ] }
 205         [ drop take-line make-paragraph ]
 206     } case ;
 207
 208 : parse-farkup ( string -- farkup )
 209     <farkup-state> [ dup done? not ] [ parse-item ] produce nip sift ;
 210
 211 CONSTANT: invalid-url "javascript:alert('Invalid URL in farkup');"
 212
 213 : check-url ( href -- href' )
 214     {
 215         { [ dup empty? ] [ drop invalid-url ] }
 216         { [ dup [ 127 > ] any? ] [ drop invalid-url ] }
 217         { [ dup first "/\\" member? ] [ drop invalid-url ] }
 218         { [ CHAR: : over member? ] [ dup absolute-url? [ drop invalid-url ] unless ] }
 219         [ relative-link-prefix get prepend "" like url-encode ]
 220     } cond ;
 221
 222 : render-code ( string mode -- xml )
 223     [ string-lines ] dip htmlize-lines
 224     [XML <pre><-></pre> XML] ;
 225
 226 GENERIC: (write-farkup) ( farkup -- xml )
 227
 228 : farkup-inside ( farkup name -- xml )
 229     <simple-name> swap T{ attrs } swap
 230     child>> (write-farkup) 1array <tag> ;
 231
 232 M: heading1 (write-farkup) "h1" farkup-inside ;
 233 M: heading2 (write-farkup) "h2" farkup-inside ;
 234 M: heading3 (write-farkup) "h3" farkup-inside ;
 235 M: heading4 (write-farkup) "h4" farkup-inside ;
 236 M: strong (write-farkup) "strong" farkup-inside ;
 237 M: emphasis (write-farkup) "em" farkup-inside ;
 238 M: superscript (write-farkup) "sup" farkup-inside ;
 239 M: subscript (write-farkup) "sub" farkup-inside ;
 240 M: inline-code (write-farkup) "code" farkup-inside ;
 241 M: list-item (write-farkup) "li" farkup-inside ;
 242 M: unordered-list (write-farkup) "ul" farkup-inside ;
 243 M: ordered-list (write-farkup) "ol" farkup-inside ;
 244 M: paragraph (write-farkup) "p" farkup-inside ;
 245 M: table (write-farkup) "table" farkup-inside ;
 246
 247 : write-link ( href text -- xml )
 248     [ check-url link-no-follow? get "nofollow" and ] dip
 249     [XML <a href=<-> rel=<->><-></a> XML] ;
 250
 251 : write-image-link ( href text -- xml )
 252     disable-images? get [
 253         2drop
 254         [XML <strong>Images are not allowed</strong> XML]
 255     ] [
 256         [ check-url ] [ f like ] bi*
 257         [XML <img src=<-> alt=<->/> XML]
 258     ] if ;
 259
 260 : open-link ( link -- href text )
 261     [ href>> ] [ text>> (write-farkup) ] bi ;
 262
 263 M: link (write-farkup)
 264     open-link write-link ;
 265
 266 M: image (write-farkup)
 267     open-link write-image-link ;
 268
 269 M: code (write-farkup)
 270     [ string>> ] [ mode>> ] bi render-code ;
 271
 272 M: line (write-farkup)
 273     drop [XML <hr/> XML] ;
 274
 275 M: line-break (write-farkup)
 276     drop [XML <br/> XML] ;
 277
 278 M: table-row (write-farkup)
 279     child>>
 280     [ (write-farkup) [XML <td><-></td> XML] ] map
 281     [XML <tr><-></tr> XML] ;
 282
 283 M: string (write-farkup) ;
 284
 285 M: array (write-farkup) [ (write-farkup) ] map ;
 286
 287 : farkup>xml ( string -- xml )
 288     parse-farkup (write-farkup) ;
 289
 290 : write-farkup ( string -- )
 291     farkup>xml write-xml ;
 292
 293 : convert-farkup ( string -- string' )
 294     [ write-farkup ] with-string-writer ;
 295