basis/farkup/farkup.factor

   1 ! Copyright (C) 2008, 2009 Doug Coleman, Daniel Ehrenberg.
   2 ! See http://factorcode.org/license.txt for BSD license.
   3 USING: sequences kernel splitting lists fry accessors assocs math.order
   4 math combinators namespaces urls.encoding xml.syntax xmode.code2html
   5 xml.data arrays strings vectors xml.writer io.streams.string locals
   6 unicode.categories ;
   7 IN: farkup
   8
   9 SYMBOL: relative-link-prefix
  10 SYMBOL: disable-images?
  11 SYMBOL: link-no-follow?
  12 SYMBOL: line-breaks?
  13
  14 TUPLE: heading1 child ;
  15 TUPLE: heading2 child ;
  16 TUPLE: heading3 child ;
  17 TUPLE: heading4 child ;
  18 TUPLE: strong child ;
  19 TUPLE: emphasis child ;
  20 TUPLE: superscript child ;
  21 TUPLE: subscript child ;
  22 TUPLE: inline-code child ;
  23 TUPLE: paragraph child ;
  24 TUPLE: list-item child ;
  25 TUPLE: unordered-list child ;
  26 TUPLE: ordered-list child ;
  27 TUPLE: table child ;
  28 TUPLE: table-row child ;
  29 TUPLE: link href text ;
  30 TUPLE: image href text ;
  31 TUPLE: code mode string ;
  32 TUPLE: line ;
  33 TUPLE: line-break ;
  34
  35 : absolute-url? ( string -- ? )
  36     { "http://" "https://" "ftp://" } [ head? ] with any? ;
  37
  38 : simple-link-title ( string -- string' )
  39     dup absolute-url? [ "/" split1-last swap or ] unless ;
  40
  41 ! _foo*bar_baz*bing works like <i>foo*bar</i>baz<b>bing</b>
  42 ! I could support overlapping, but there's not a good use case for it.
  43
  44 DEFER: (parse-paragraph)
  45
  46 : parse-paragraph ( string -- seq )
  47     (parse-paragraph) list>array ;
  48
  49 : make-paragraph ( string -- paragraph )
  50     parse-paragraph paragraph boa ;
  51
  52 : cut-half-slice ( string i -- before after-slice )
  53     [ head ] [ 1 + short tail-slice ] 2bi ;
  54
  55 : find-cut ( string quot -- before after delimiter )
  56     dupd find
  57     [ [ cut-half-slice ] [ f ] if* ] dip ; inline
  58
  59 : parse-delimiter ( string delimiter class -- paragraph )
  60     [ '[ _ = ] find-cut drop ] dip
  61     '[ parse-paragraph _ new swap >>child ]
  62     [ (parse-paragraph) ] bi* cons ;
  63
  64 : delimiter-class ( delimiter -- class )
  65     H{
  66         { CHAR: * strong }
  67         { CHAR: _ emphasis }
  68         { CHAR: ^ superscript }
  69         { CHAR: ~ subscript }
  70         { CHAR: % inline-code }
  71     } at ;
  72
  73 : or-simple-title ( url title/f quot: ( title -- title' ) -- url title' )
  74     [ "" like dup simple-link-title ] if* ; inline
  75
  76 : parse-link ( string -- paragraph-list )
  77     rest-slice "]]" split1-slice [
  78         "|" split1
  79         [ "image:" ?head ] dip swap
  80         [ [ ] or-simple-title image boa ]
  81         [ [ parse-paragraph ] or-simple-title link boa ] if
  82     ] dip [ (parse-paragraph) cons ] [ 1list ] if* ;
  83
  84 : ?first ( seq -- elt ) 0 swap ?nth ;
  85
  86 : parse-big-link ( before after -- link rest )
  87     dup ?first CHAR: [ =
  88     [ parse-link ]
  89     [ [ CHAR: [ suffix ] [ (parse-paragraph) ] bi* ]
  90     if ;
  91
  92 : escape ( before after -- before' after' )
  93     [ nil ] [ unclip-slice swap [ suffix ] dip (parse-paragraph) ] if-empty ;
  94
  95 : (parse-paragraph) ( string -- list )
  96     [ nil ] [
  97         [ "*_^~%[\\" member? ] find-cut [
  98             {
  99                 { CHAR: [ [ parse-big-link ] }
 100                 { CHAR: \\ [ escape ] }
 101                 [ dup delimiter-class parse-delimiter ]
 102             } case cons
 103         ] [ drop "" like 1list ] if*
 104     ] if-empty ;
 105
 106 : <farkup-state> ( string -- state ) string-lines ;
 107 : look ( state i -- char ) swap first ?nth ;
 108 : done? ( state -- ? ) empty? ;
 109 : take-line ( state -- state' line ) unclip-slice ;
 110
 111 : take-lines ( state char -- state' lines )
 112     dupd '[ ?first _ = not ] find drop
 113     [ cut-slice ] [ f ] if* swap ;
 114
 115 :: (take-until) ( state delimiter accum -- string/f state' )
 116     state empty? [ accum "\n" join f ] [
 117         state unclip-slice :> first :> rest
 118         first delimiter split1 :> after :> before
 119         before accum push
 120         after [
 121             accum "\n" join
 122             rest after prefix
 123         ] [
 124             rest delimiter accum (take-until)
 125         ] if
 126     ] if ;
 127
 128 : take-until ( state delimiter -- string state'/f )
 129     V{ } clone (take-until) ;
 130
 131 : count= ( string -- n )
 132     dup <reversed> [ [ CHAR: = = not ] find drop 0 or ] bi@ min ;
 133
 134 : trim= ( string -- string' )
 135     [ CHAR: = = ] trim ;
 136
 137 : make-heading ( string class -- heading )
 138     [ trim= parse-paragraph ] dip boa ; inline
 139
 140 : parse-heading ( state -- state' heading )
 141     take-line dup count= {
 142         { 0 [ make-paragraph ] }
 143         { 1 [ heading1 make-heading ] }
 144         { 2 [ heading2 make-heading ] }
 145         { 3 [ heading3 make-heading ] }
 146         { 4 [ heading4 make-heading ] }
 147         [ drop heading4 make-heading ]
 148     } case ;
 149
 150 : trim-row ( seq -- seq' )
 151     rest
 152     dup last empty? [ but-last ] when ;
 153
 154 : ?last ( seq -- elt/f )
 155     [ f ] [ last ] if-empty ;
 156
 157 : coalesce ( rows -- rows' )
 158     V{ } clone [
 159         '[
 160             _ dup ?last ?last CHAR: \\ =
 161             [ [ pop "|" rot 3append ] keep ] when
 162             push
 163         ] each
 164     ] keep ;
 165
 166 : parse-table ( state -- state' table )
 167     CHAR: | take-lines [
 168         "|" split
 169         trim-row
 170         coalesce
 171         [ parse-paragraph ] map
 172         table-row boa
 173     ] map table boa ;
 174
 175 : parse-line ( state -- state' item )
 176     take-line dup "___" =
 177     [ drop line new ] [ make-paragraph ] if ;
 178
 179 : parse-list ( state char class -- state' list )
 180     [
 181         take-lines
 182         [ rest parse-paragraph list-item boa ] map
 183     ] dip boa ; inline
 184
 185 : parse-ul ( state -- state' ul )
 186     CHAR: - unordered-list parse-list ;
 187
 188 : parse-ol ( state -- state' ul )
 189     CHAR: # ordered-list parse-list ;
 190
 191 : parse-code ( state -- state' item )
 192     dup 1 look CHAR: [ =
 193     [ take-line make-paragraph ] [
 194         dup "{" take-until [
 195             [ nip rest ] dip
 196             "}]" take-until
 197             [ code boa ] dip swap
 198         ] [ drop take-line make-paragraph ] if*
 199     ] if ;
 200
 201 : parse-item ( state -- state' item )
 202     dup 0 look {
 203         { CHAR: = [ parse-heading ] }
 204         { CHAR: | [ parse-table ] }
 205         { CHAR: _ [ parse-line ] }
 206         { CHAR: - [ parse-ul ] }
 207         { CHAR: # [ parse-ol ] }
 208         { CHAR: [ [ parse-code ] }
 209         { f [ rest-slice f ] }
 210         [ drop take-line make-paragraph ]
 211     } case ;
 212
 213 : parse-farkup ( string -- farkup )
 214     <farkup-state> [ dup done? not ] [ parse-item ] produce nip sift ;
 215
 216 CONSTANT: invalid-url "javascript:alert('Invalid URL in farkup');"
 217
 218 : check-url ( href -- href' )
 219     {
 220         { [ dup empty? ] [ drop invalid-url ] }
 221         { [ dup [ 127 > ] any? ] [ drop invalid-url ] }
 222         { [ dup first "/\\" member? ] [ drop invalid-url ] }
 223         { [ CHAR: : over member? ] [ dup absolute-url? [ drop invalid-url ] unless ] }
 224         [ relative-link-prefix get prepend "" like url-encode ]
 225     } cond ;
 226
 227 : render-code ( string mode -- xml )
 228     [ string-lines ] dip htmlize-lines
 229     [XML <pre><-></pre> XML] ;
 230
 231 GENERIC: (write-farkup) ( farkup -- xml )
 232
 233 : farkup-inside ( farkup name -- xml )
 234     <simple-name> swap T{ attrs } swap
 235     child>> (write-farkup) 1array <tag> ;
 236
 237 M: heading1 (write-farkup) "h1" farkup-inside ;
 238 M: heading2 (write-farkup) "h2" farkup-inside ;
 239 M: heading3 (write-farkup) "h3" farkup-inside ;
 240 M: heading4 (write-farkup) "h4" farkup-inside ;
 241 M: strong (write-farkup) "strong" farkup-inside ;
 242 M: emphasis (write-farkup) "em" farkup-inside ;
 243 M: superscript (write-farkup) "sup" farkup-inside ;
 244 M: subscript (write-farkup) "sub" farkup-inside ;
 245 M: inline-code (write-farkup) "code" farkup-inside ;
 246 M: list-item (write-farkup) "li" farkup-inside ;
 247 M: unordered-list (write-farkup) "ul" farkup-inside ;
 248 M: ordered-list (write-farkup) "ol" farkup-inside ;
 249 M: paragraph (write-farkup) "p" farkup-inside ;
 250 M: table (write-farkup) "table" farkup-inside ;
 251
 252 : write-link ( href text -- xml )
 253     [ check-url link-no-follow? get "nofollow" and ] dip
 254     [XML <a href=<-> rel=<->><-></a> XML] ;
 255
 256 : write-image-link ( href text -- xml )
 257     disable-images? get [
 258         2drop
 259         [XML <strong>Images are not allowed</strong> XML]
 260     ] [
 261         [ check-url ] [ f like ] bi*
 262         [XML <img src=<-> alt=<->/> XML]
 263     ] if ;
 264
 265 : open-link ( link -- href text )
 266     [ href>> ] [ text>> (write-farkup) ] bi ;
 267
 268 M: link (write-farkup)
 269     open-link write-link ;
 270
 271 M: image (write-farkup)
 272     open-link write-image-link ;
 273
 274 M: code (write-farkup)
 275     [ string>> ] [ mode>> ] bi render-code ;
 276
 277 M: line (write-farkup)
 278     drop [XML <hr/> XML] ;
 279
 280 M: line-break (write-farkup)
 281     drop [XML <br/> XML] ;
 282
 283 M: table-row (write-farkup)
 284     child>>
 285     [ (write-farkup) [XML <td><-></td> XML] ] map
 286     [XML <tr><-></tr> XML] ;
 287
 288 M: string (write-farkup) ;
 289
 290 M: array (write-farkup) [ (write-farkup) ] map ;
 291
 292 : farkup>xml ( string -- xml )
 293     parse-farkup (write-farkup) ;
 294
 295 : write-farkup ( string -- )
 296     farkup>xml write-xml ;
 297
 298 : convert-farkup ( string -- string' )
 299     [ write-farkup ] with-string-writer ;
 300