]> gitweb.factorcode.org Git - factor.git/blobdiff - extra/spider/spider.factor
factor: trim using lists
[factor.git] / extra / spider / spider.factor
index edafd617f26627daff4ac461f8e1c6caa8cba644..4669525e5ad7a3b5ecfabb03f974fe0bae5c62be 100644 (file)
@@ -1,12 +1,10 @@
 ! Copyright (C) 2008 Doug Coleman.
 ! See http://factorcode.org/license.txt for BSD license.
-USING: accessors fry html.parser html.parser.analyzer
-http.client kernel tools.time sets assocs sequences
-concurrency.combinators io threads namespaces math multiline
-math.parser inspector urls logging combinators.short-circuit
-continuations calendar prettyprint dlists deques locals
-spider.unique-deque combinators concurrency.semaphores
-io.pathnames ;
+USING: accessors assocs calendar combinators.short-circuit
+concurrency.semaphores deques html.parser html.parser.analyzer
+http.client inspector io io.pathnames kernel logging math
+math.parser prettyprint sequences sets spider.unique-deque
+threads tools.time urls ;
 IN: spider
 
 TUPLE: spider
@@ -90,8 +88,9 @@ fetched-in parsed-html links processed-in fetched-at ;
     path>> file-extension { ".htm" ".html" f } member? ;
 
 :: fill-spidered-result ( spider spider-result -- )
-    f spider-result url>> dup :> url spider spidered>> set-at
-    [ spider-result url>> http-get ] benchmark :> ( headers html fetched-in )
+    spider-result url>> :> url
+    f url spider spidered>> set-at
+    [ url http-get ] benchmark :> ( headers html fetched-in )
     [
         url url-html? [
             html parse-html