extra/html/parser/analyzer/analyzer.factor

   1 ! Copyright (C) 2008 Doug Coleman.
   2 ! See http://factorcode.org/license.txt for BSD license.
   3 USING: assocs html.parser kernel math sequences strings ascii
   4 arrays generalizations shuffle unicode.case namespaces make
   5 splitting http accessors io combinators http.client urls
   6 fry sequences.lib ;
   7 IN: html.parser.analyzer
   8
   9 TUPLE: link attributes clickable ;
  10
  11 : scrape-html ( url -- vector )
  12     http-get nip parse-html ;
  13
  14 : find-all ( seq quot -- alist )
  15    [ <enum> >alist ] [ '[ second @ ] ] bi* filter ; inline
  16
  17 : find-nth ( seq quot n -- i elt )
  18     [ <enum> >alist ] 2dip -rot
  19     '[ _ [ second @ ] find-from rot drop swap 1+ ]
  20     [ f 0 ] 2dip times drop first2 ; inline
  21
  22 : find-first-name ( str vector -- i/f tag/f )
  23     [ >lower ] dip [ name>> = ] with find ; inline
  24
  25 : find-matching-close ( str vector -- i/f tag/f )
  26     [ >lower ] dip
  27     [ [ name>> = ] [ closing?>> ] bi and ] with find ; inline
  28
  29 : find-between* ( i/f tag/f vector -- vector )
  30     pick integer? [
  31         rot tail-slice
  32         >r name>> r>
  33         [ find-matching-close drop dup [ 1+ ] when ] keep
  34         swap [ head ] [ first ] if*
  35     ] [
  36         3drop V{ } clone
  37     ] if ; inline
  38
  39 : find-between ( i/f tag/f vector -- vector )
  40     find-between* dup length 3 >= [
  41         [ rest-slice but-last-slice ] keep like
  42     ] when ; inline
  43
  44 : find-between-first ( string vector -- vector' )
  45     [ find-first-name ] keep find-between ; inline
  46
  47 : find-between-all ( vector quot -- seq )
  48     [ [ [ closing?>> not ] bi and ] curry find-all ] curry
  49     [ [ >r first2 r> find-between* ] curry map ] bi ; inline
  50
  51
  52 : remove-blank-text ( vector -- vector' )
  53     [
  54         dup name>> text =
  55         [ text>> [ blank? ] all? not ] [ drop t ] if
  56     ] filter ;
  57
  58 : trim-text ( vector -- vector' )
  59     [
  60         dup name>> text =
  61         [ [ [ blank? ] trim ] change-text ] when
  62     ] map ;
  63
  64 : find-by-id ( id vector -- vector )
  65     [ attributes>> "id" swap at = ] with filter ;
  66
  67 : find-by-class ( id vector -- vector )
  68     [ attributes>> "class" swap at = ] with filter ;
  69
  70 : find-by-name ( str vector -- vector )
  71     [ >lower ] dip [ name>> = ] with filter ;
  72
  73 : find-by-attribute-key ( key vector -- vector )
  74     [ >lower ] dip
  75     [ attributes>> at ] with filter
  76     sift ;
  77
  78 : find-by-attribute-key-value ( value key vector -- vector )
  79     [ >lower ] dip
  80     [ attributes>> at over = ] with filter nip
  81     sift ;
  82
  83 : find-first-attribute-key-value ( value key vector -- i/f tag/f )
  84     [ >lower ] dip
  85     [ attributes>> at over = ] with find rot drop ;
  86
  87 : tag-link ( tag -- link/f )
  88     attributes>> [ "href" swap at ] [ f ] if* ;
  89
  90 : find-links ( vector -- vector' )
  91     [ [ name>> "a" = ] [ attributes>> "href" swap at ] bi and ]
  92     find-between-all ;
  93
  94 : <link> ( vector -- link )
  95     [ first attributes>> ]
  96     [ [ name>> { text "img" } member? ] filter ] bi
  97     link boa ;
  98
  99 : link. ( vector -- )
 100     [ attributes>> "href" swap at write nl ]
 101     [ clickable>> [ bl bl text>> print ] each nl ] bi ;
 102
 103 : find-by-text ( seq quot -- tag )
 104     [ dup name>> text = ] prepose find drop ;
 105
 106 : find-opening-tags-by-name ( name seq -- seq )
 107     [ [ name>> = ] [ closing?>> not ] bi and ] with find-all ;
 108
 109 : href-contains? ( str tag -- ? )
 110     attributes>> "href" swap at* [ subseq? ] [ 2drop f ] if ;
 111
 112 : find-hrefs ( vector -- vector' )
 113     find-links
 114     [ [
 115         [ name>> "a" = ]
 116         [ attributes>> "href" swap key? ] bi and ] filter
 117     ] map sift [ [ attributes>> "href" swap at ] map ] map concat ;
 118
 119 : find-forms ( vector -- vector' )
 120     "form" over find-opening-tags-by-name
 121     swap [ >r first2 r> find-between* ] curry map
 122     [ [ name>> { "form" "input" } member? ] filter ] map ;
 123
 124 : find-html-objects ( string vector -- vector' )
 125     [ find-opening-tags-by-name ] keep
 126     [ [ first2 ] dip find-between* ] curry map ;
 127
 128 : form-action ( vector -- string )
 129     [ name>> "form" = ] find nip
 130     attributes>> "action" swap at ;
 131
 132 : hidden-form-values ( vector -- strings )
 133     [ attributes>> "type" swap at "hidden" = ] filter ;
 134
 135 : input. ( tag -- )
 136     dup name>> print
 137     attributes>>
 138     [ bl bl bl bl [ write "=" write ] [ write bl ] bi* nl ] assoc-each ;
 139
 140 : form. ( vector -- )
 141     [ closing?>> not ] filter
 142     [
 143         {
 144             { [ dup name>> "form" = ]
 145                 [ "form action: " write attributes>> "action" swap at print ] }
 146             { [ dup name>> "input" = ] [ input. ] }
 147             [ drop ]
 148         } cond
 149     ] each ;
 150
 151 : query>assoc* ( str -- hash )
 152     "?" split1 nip query>assoc ;