extra/html/parser/analyzer/analyzer.factor

   1 ! Copyright (C) 2008 Doug Coleman.
   2 ! See http://factorcode.org/license.txt for BSD license.
   3 USING: accessors assocs assocs.extras combinators
   4 combinators.short-circuit html.parser http.client io kernel math
   5 math.statistics sequences sets splitting unicode urls
   6 urls.encoding ;
   7 IN: html.parser.analyzer
   8
   9 : scrape-html ( url -- response vector )
  10     http-get parse-html ;
  11
  12 : attribute ( tag string -- obj/f )
  13     swap attributes>> at ;
  14
  15 : attribute* ( tag string -- obj ? )
  16     swap attributes>> at* ;
  17
  18 : attribute? ( tag string -- ? )
  19     swap attributes>> key? ;
  20
  21 : find-all ( seq quot -- alist )
  22    [ <enumerated> >alist ] [ '[ second @ ] ] bi* filter ; inline
  23
  24 : loopn-index ( n quot -- )
  25     [ <iota> ] [ '[ @ not ] ] bi* find 2drop ; inline
  26
  27 : loopn ( n quot -- )
  28     [ drop ] prepose loopn-index ; inline
  29
  30 : html-class? ( tag string -- ? )
  31     swap "class" attribute [ blank? ] split-when member? ;
  32
  33 : html-id? ( tag string -- ? )
  34     swap "id" attribute = ;
  35
  36 ERROR: undefined-find-nth m n seq quot ;
  37
  38 : check-trivial-find ( m n seq quot -- m n seq quot )
  39     pick 0 = [ undefined-find-nth ] when ; inline
  40
  41 : find-nth-from ( m n seq quot -- i/f elt/f )
  42     check-trivial-find [ f ] 3dip '[
  43         drop _ _ find-from [ dup [ 1 + ] when ] dip over
  44     ] loopn [ dup [ 1 - ] when ] dip ; inline
  45
  46 : find-nth ( n seq quot -- i/f elt/f )
  47     [ 0 ] 3dip find-nth-from ; inline
  48
  49 : find-last-nth-from ( m n seq quot -- i/f elt/f )
  50     check-trivial-find [ f ] 3dip '[
  51         drop _ _ find-last-from [ dup [ 1 - ] when ] dip over
  52     ] loopn [ dup [ 1 + ] when ] dip ; inline
  53
  54 : find-last-nth ( n seq quot -- i/f elt/f )
  55     [ [ nip length 1 - ] [ ] 2bi ] dip find-last-nth-from ; inline
  56
  57 : find-first-name ( vector string -- i/f tag/f )
  58     >lower '[ name>> _ = ] find ; inline
  59
  60 : stack-find ( seq quot: ( elt -- 1/0/-1 ) -- i/f )
  61     map cum-sum 0 swap index ; inline
  62
  63 : tag-classifier ( string -- quot )
  64     >lower
  65     '[ dup name>> _ = [ closing?>> -1 1  ? ] [ drop 0 ] if ] ; inline
  66
  67 : find-between* ( vector i/f tag/f -- vector )
  68     over integer? [
  69         [ tail-slice ] [ name>> ] bi*
  70         dupd tag-classifier stack-find [ 1 + ] [ 1 ] if*
  71         head
  72     ] [
  73         3drop V{ } clone
  74     ] if ; inline
  75
  76 : find-between ( vector i/f tag/f -- vector )
  77     find-between* dup length 3 >= [
  78         [ rest-slice but-last-slice ] keep like
  79     ] when ; inline
  80
  81 : find-between-first ( vector string -- vector' )
  82     dupd find-first-name find-between ; inline
  83
  84 : find-between-all ( vector quot -- seq )
  85     dupd
  86     '[ _ [ closing?>> not ] bi and ] find-all
  87     [ first2 find-between* ] with map ; inline
  88
  89 : remove-blank-text ( vector -- vector' )
  90     [
  91         dup name>> text =
  92         [ text>> [ blank? ] all? not ] [ drop t ] if
  93     ] filter ;
  94
  95 : trim-text ( vector -- vector' )
  96     [
  97         dup name>> text =
  98         [ [ [ blank? ] trim ] change-text ] when
  99     ] map ;
 100
 101 : find-by-id ( vector id -- vector' elt/f )
 102     '[ _ html-id? ] find ;
 103
 104 : find-by-class ( vector id -- vector' elt/f )
 105     '[ _ html-class? ] find ;
 106
 107 : find-by-name ( vector string -- vector elt/f )
 108     >lower '[ name>> _ = ] find ;
 109
 110 : find-by-id-between ( vector string -- vector' )
 111     '[ _ html-id? ] dupd find find-between* ;
 112
 113 : find-by-class-between ( vector string -- vector' )
 114     '[ _ html-class? ] dupd find find-between* ;
 115
 116 : find-by-class-id-between ( vector class id -- vector' )
 117     '[
 118         [ _ html-class? ] [ _ html-id? ] bi and
 119     ] dupd find find-between* ;
 120
 121 : find-by-attribute-key ( vector key -- vector' )
 122     >lower '[ _ attribute? ] filter sift ;
 123
 124 : find-by-attribute-key-value ( vector value key -- vector' )
 125     >lower swap '[ _ attribute _ = ] filter sift ;
 126
 127 : find-first-attribute-key-value ( vector value key -- i/f tag/f )
 128     >lower swap '[ _ attribute _ = ] find ;
 129
 130 : find-links ( vector -- vector' )
 131     [ { [ name>> "a" = ] [ "href" attribute ] } 1&& ]
 132     find-between-all ;
 133
 134 : find-images ( vector -- vector' )
 135     [ { [ name>> "img" = ] [ "src" attribute ] } 1&& ] filter sift
 136     [ "src" attribute ] map ;
 137
 138 : find-by-text ( seq quot -- tag )
 139     [ dup name>> text = ] prepose find drop ; inline
 140
 141 : find-opening-tags-by-name ( name seq -- seq )
 142     [ { [ name>> = ] [ closing?>> not ] } 1&& ] with find-all ;
 143
 144 : href-contains? ( str tag -- ? )
 145     "href" attribute* [ swap subseq-of? ] [ 2drop f ] if ;
 146
 147 : find-hrefs ( vector -- vector' )
 148     [ { [ name>> "a" = ] [ "href" attribute? ] } 1&& ] filter sift
 149     [ "href" attribute >url ] map ;
 150
 151 : find-frame-links ( vector -- vector' )
 152     [ { [ name>> "frame" = ] [ "src" attribute? ] } 1&& ] filter sift
 153     [ "src" attribute >url ] map ;
 154
 155 : find-script-links ( vector -- vector' )
 156     [ { [ name>> "script" = ] [ "src" attribute? ] } 1&& ] filter sift
 157     [ "src" attribute >url ] map ;
 158
 159 : find-all-links ( vector -- vector' )
 160     [ find-hrefs ] [ find-frame-links ] [ find-script-links ] tri union union ;
 161
 162 : find-forms ( vector -- vector' )
 163     "form" over find-opening-tags-by-name
 164     swap [ [ first2 ] dip find-between* ] curry map
 165     [ [ name>> { "form" "input" } member? ] filter ] map ;
 166
 167 : find-html-objects ( vector string -- vector' )
 168     over find-opening-tags-by-name
 169     [ first2 find-between* ] with map ;
 170
 171 : form-action ( vector -- string )
 172     [ name>> "form" = ] find nip "action" attribute ;
 173
 174 : hidden-form-values ( vector -- strings )
 175     [ "type" attribute "hidden" = ] filter ;
 176
 177 : input. ( tag -- )
 178     [ name>> print ] [ attributes>> ] bi
 179     [ bl bl bl bl [ write "=" write ] [ write bl ] bi* nl ] assoc-each ;
 180
 181 : form. ( vector -- )
 182     [ closing?>> ] reject
 183     [
 184         {
 185             { [ dup name>> "form" = ]
 186                 [ "form action: " write "action" attribute print ] }
 187             { [ dup name>> "input" = ] [ input. ] }
 188             [ drop ]
 189         } cond
 190     ] each ;
 191
 192 : query>assoc* ( str -- hash )
 193     "?" split1 nip query>assoc ;
 194
 195 : opening-tag? ( tag -- ? )
 196     closing?>> not ;
 197
 198 TUPLE: link attributes clickable ;
 199
 200 : <link> ( vector -- link )
 201     [ first attributes>> ]
 202     [ [ name>> { text "img" } member? ] filter ] bi
 203     link boa ;
 204
 205 : link. ( vector -- )
 206     [ "href" attribute write nl ]
 207     [ clickable>> [ bl bl text>> print ] each nl ] bi ;
 208
 209 : find-classes-named ( seq name -- seq' )
 210     dupd
 211     '[ attributes>> "class" of _ = ] find-all
 212     [ find-between ] kv-with { } assoc>map ;
 213
 214 : find-classes-named* ( seq name -- seq' )
 215     dupd
 216     '[ attributes>> "class" of _ = ] find-all
 217     [ find-between* ] kv-with { } assoc>map ;