basis/csv/csv.factor

   1 ! Copyright (C) 2007, 2008 Phil Dawes
   2 ! See http://factorcode.org/license.txt for BSD license.
   3 USING: kernel sequences io namespaces make combinators
   4 unicode.categories io.files combinators.short-circuit
   5 io.streams.string ;
   6 IN: csv
   7
   8 SYMBOL: delimiter
   9
  10 CHAR: , delimiter set-global
  11
  12 <PRIVATE
  13
  14 : delimiter> ( -- delimiter ) delimiter get ; inline
  15
  16 DEFER: quoted-field ( -- endchar )
  17
  18 : trim-whitespace ( str -- str )
  19     [ blank? ] trim ; inline
  20
  21 : skip-to-field-end ( -- endchar )
  22   "\n" delimiter> suffix read-until nip ; inline
  23
  24 : not-quoted-field ( -- endchar )
  25     "\"\n" delimiter> suffix read-until
  26     dup {
  27         { CHAR: "    [ 2drop quoted-field ] }
  28         { delimiter> [ swap trim-whitespace % ] }
  29         { CHAR: \n   [ swap trim-whitespace % ] }
  30         { f          [ swap trim-whitespace % ] }
  31     } case ;
  32
  33 : maybe-escaped-quote ( -- endchar )
  34     read1 dup {
  35         { CHAR: "    [ , quoted-field ] }
  36         { delimiter> [ ] }
  37         { CHAR: \n   [ ] }
  38         [ 2drop skip-to-field-end ]
  39     } case ;
  40
  41 : quoted-field ( -- endchar )
  42     "\"" read-until
  43     drop % maybe-escaped-quote ;
  44
  45 : field ( -- sep string )
  46     [ not-quoted-field ] "" make  ;
  47
  48 : (row) ( -- sep )
  49     field ,
  50     dup delimiter> = [ drop (row) ] when ;
  51
  52 : row ( -- eof? array[string] )
  53     [ (row) ] { } make ;
  54
  55 : (csv) ( -- )
  56     row
  57     dup [ empty? ] all? [ drop ] [ , ] if
  58     [ (csv) ] when ;
  59
  60 PRIVATE>
  61
  62 : csv-row ( stream -- row )
  63     [ row nip ] with-input-stream ;
  64
  65 : csv ( stream -- rows )
  66     [ [ (csv) ] { } make ] with-input-stream
  67     dup last { "" } = [ but-last ] when ;
  68
  69 : string>csv ( string -- csv )
  70     <string-reader> csv ;
  71
  72 : file>csv ( path encoding -- csv )
  73     <file-reader> csv ;
  74
  75 : with-delimiter ( ch quot -- )
  76     [ delimiter ] dip with-variable ; inline
  77
  78 <PRIVATE
  79
  80 : needs-escaping? ( cell -- ? )
  81     [ { [ "\n\"" member? ] [ delimiter get = ] } 1|| ] any? ; inline
  82
  83 : escape-quotes ( cell -- cell' )
  84     [
  85         [
  86             [ , ]
  87             [ dup CHAR: " = [ , ] [ drop ] if ] bi
  88         ] each
  89     ] "" make ; inline
  90
  91 : enclose-in-quotes ( cell -- cell' )
  92     "\"" dup surround ; inline
  93
  94 : escape-if-required ( cell -- cell' )
  95     dup needs-escaping?
  96     [ escape-quotes enclose-in-quotes ] when ; inline
  97
  98 PRIVATE>
  99
 100 : write-row ( row -- )
 101     [ delimiter get write1 ]
 102     [ escape-if-required write ] interleave nl ; inline
 103
 104 <PRIVATE
 105
 106 : (write-csv) ( rows -- )
 107     [ write-row ] each ;
 108
 109 PRIVATE>
 110
 111 : write-csv ( rows stream -- )
 112     [ (write-csv) ] with-output-stream ;
 113
 114 : csv>string ( csv -- string )
 115     [ (write-csv) ] with-string-writer ;
 116
 117 : csv>file ( rows path encoding -- ) <file-writer> write-csv ;