basis/csv/csv.factor

   1 ! Copyright (C) 2007, 2008 Phil Dawes
   2 ! See http://factorcode.org/license.txt for BSD license.
   3 USING: kernel sequences io namespaces make combinators
   4 unicode.categories io.files combinators.short-circuit ;
   5 IN: csv
   6
   7 SYMBOL: delimiter
   8
   9 CHAR: , delimiter set-global
  10
  11 <PRIVATE
  12
  13 : delimiter> ( -- delimiter ) delimiter get ; inline
  14
  15 DEFER: quoted-field ( -- endchar )
  16
  17 : trim-whitespace ( str -- str )
  18     [ blank? ] trim ; inline
  19
  20 : skip-to-field-end ( -- endchar )
  21   "\n" delimiter> suffix read-until nip ; inline
  22
  23 : not-quoted-field ( -- endchar )
  24     "\"\n" delimiter> suffix read-until
  25     dup {
  26         { CHAR: "    [ 2drop quoted-field ] }
  27         { delimiter> [ swap trim-whitespace % ] }
  28         { CHAR: \n   [ swap trim-whitespace % ] }
  29         { f          [ swap trim-whitespace % ] }
  30     } case ;
  31
  32 : maybe-escaped-quote ( -- endchar )
  33     read1 dup {
  34         { CHAR: "    [ , quoted-field ] }
  35         { delimiter> [ ] }
  36         { CHAR: \n   [ ] }
  37         [ 2drop skip-to-field-end ]
  38     } case ;
  39
  40 : quoted-field ( -- endchar )
  41     "\"" read-until
  42     drop % maybe-escaped-quote ;
  43
  44 : field ( -- sep string )
  45     [ not-quoted-field ] "" make  ;
  46
  47 : (row) ( -- sep )
  48     field ,
  49     dup delimiter> = [ drop (row) ] when ;
  50
  51 : row ( -- eof? array[string] )
  52     [ (row) ] { } make ;
  53
  54 : (csv) ( -- )
  55     row
  56     dup [ empty? ] all? [ drop ] [ , ] if
  57     [ (csv) ] when ;
  58
  59 PRIVATE>
  60
  61 : csv-row ( stream -- row )
  62     [ row nip ] with-input-stream ;
  63
  64 : csv ( stream -- rows )
  65     [ [ (csv) ] { } make ] with-input-stream
  66     dup last { "" } = [ but-last ] when ;
  67
  68 : file>csv ( path encoding -- csv )
  69     <file-reader> csv ;
  70
  71 : with-delimiter ( ch quot -- )
  72     [ delimiter ] dip with-variable ; inline
  73
  74 <PRIVATE
  75
  76 : needs-escaping? ( cell -- ? )
  77     [ { [ "\n\"" member? ] [ delimiter get = ] } 1|| ] any? ; inline
  78
  79 : escape-quotes ( cell -- cell' )
  80     [
  81         [
  82             [ , ]
  83             [ dup CHAR: " = [ , ] [ drop ] if ] bi
  84         ] each
  85     ] "" make ; inline
  86
  87 : enclose-in-quotes ( cell -- cell' )
  88     "\"" dup surround ; inline
  89
  90 : escape-if-required ( cell -- cell' )
  91     dup needs-escaping?
  92     [ escape-quotes enclose-in-quotes ] when ; inline
  93
  94 PRIVATE>
  95
  96 : write-row ( row -- )
  97     [ delimiter get write1 ]
  98     [ escape-if-required write ] interleave nl ; inline
  99
 100 : write-csv ( rows stream -- )
 101     [ [ write-row ] each ] with-output-stream ;
 102
 103 : csv>file ( rows path encoding -- ) <file-writer> write-csv ;