basis/csv/csv.factor

   1 ! Copyright (C) 2007, 2008 Phil Dawes, 2013 John Benediktsson
   2 ! See http://factorcode.org/license.txt for BSD license.
   3 USING: combinators fry io io.files io.streams.string kernel
   4 make math memoize namespaces sbufs sequences sequences.private
   5 unicode ;
   6 IN: csv
   7
   8 SYMBOL: delimiter
   9
  10 CHAR: , delimiter set-global
  11
  12 <PRIVATE
  13
  14 MEMO: field-delimiters ( delimiter -- field-seps quote-seps )
  15     [ "\r\n" swap prefix ] [ "\r\"\n" swap prefix ] bi ; inline
  16
  17 DEFER: quoted-field,
  18
  19 : maybe-escaped-quote ( delimeter stream quoted? -- delimiter stream sep/f )
  20     2over stream-read1 swap over =
  21     [ nip ] [
  22         {
  23             { CHAR: "    [ [ CHAR: " , ] when quoted-field, ] }
  24             { CHAR: \n   [ ] } ! Error: cr inside string?
  25             { CHAR: \r   [ ] } ! Error: lf inside string?
  26             [ [ , drop f maybe-escaped-quote ] when* ]
  27         } case
  28      ] if ; inline recursive
  29
  30 : quoted-field, ( delimiter stream -- delimiter stream sep/f )
  31     "\"" over stream-read-until drop % t maybe-escaped-quote ;
  32
  33 : quoted-field ( delimiter stream -- sep/f field )
  34     [ quoted-field, 2nip ] "" make ;
  35
  36 : ?trim ( string -- string' )
  37     dup length [ drop "" ] [
  38         over first-unsafe blank?
  39         [ drop t ] [ 1 - over nth-unsafe blank? ] if
  40         [ [ blank? ] trim ] when
  41     ] if-zero ; inline
  42
  43 : continue-field ( delimiter stream field-seps seq -- sep/f field )
  44     swap rot stream-read-until [ "\"" glue ] dip
  45     swap ?trim [ drop ] 2dip ; inline
  46
  47 : field ( delimiter stream field-seps quote-seps -- sep/f field )
  48     pick stream-read-until dup CHAR: " = [
  49         drop [ drop quoted-field ] [ continue-field ] if-empty
  50     ] [ [ 3drop ] 2dip swap ?trim ] if ;
  51
  52 : (stream-read-row) ( delimiter stream field-end quoted-field -- sep/f fields )
  53     [ [ dup '[ dup _ = ] ] keep ] 3dip
  54     '[ drop _ _ _ _ field ] produce ; inline
  55
  56 : (stream-read-csv) ( stream -- )
  57     [ dup [ empty? ] all? [ drop ] [ , ] if ]
  58     delimiter get rot over field-delimiters
  59     '[ _ _ _ _ (stream-read-row) ] do while ;
  60
  61 PRIVATE>
  62
  63 : stream-read-row ( stream -- row )
  64     delimiter get swap over field-delimiters
  65     (stream-read-row) nip ; inline
  66
  67 : read-row ( -- row )
  68     input-stream get stream-read-row ; inline
  69
  70 : stream-read-csv ( stream -- rows )
  71     [ (stream-read-csv) ] { } make
  72     dup ?last { "" } = [ but-last ] when ; inline
  73
  74 : read-csv ( -- rows )
  75     input-stream get stream-read-csv ; inline
  76
  77 : string>csv ( string -- csv )
  78     [ read-csv ] with-string-reader ;
  79
  80 : file>csv ( path encoding -- csv )
  81     [ read-csv ] with-file-reader ;
  82
  83 : with-delimiter ( ch quot -- )
  84     [ delimiter ] dip with-variable ; inline
  85
  86 <PRIVATE
  87
  88 : needs-escaping? ( cell delimiter -- ? )
  89     '[ dup "\n\"\r" member? [ drop t ] [ _ = ] if ] any? ; inline
  90
  91 : escape-quotes ( cell stream -- )
  92     CHAR: " over stream-write1 swap [
  93         [ over stream-write1 ]
  94         [ dup CHAR: " = [ over stream-write1 ] [ drop ] if ] bi
  95     ] each CHAR: " swap stream-write1 ;
  96
  97 : escape-if-required ( cell delimiter stream -- )
  98     [ dupd needs-escaping? ] dip
  99     [ escape-quotes ] [ stream-write ] bi-curry if ; inline
 100
 101 : (stream-write-row) ( row delimiter stream -- )
 102     [ '[ _ _ stream-write1 ] ] 2keep
 103     '[ _ _ escape-if-required ] interleave nl ; inline
 104
 105 PRIVATE>
 106
 107 : stream-write-row ( row stream -- )
 108     delimiter get swap (stream-write-row) ; inline
 109
 110 : write-row ( row -- )
 111     output-stream get stream-write-row ; inline
 112
 113 : stream-write-csv ( rows stream -- )
 114     delimiter get swap '[ _ _ (stream-write-row) ] each ;
 115
 116 : write-csv ( rows -- )
 117     output-stream get stream-write-csv ;
 118
 119 : csv>string ( csv -- string )
 120     [ write-csv ] with-string-writer ;
 121
 122 : csv>file ( rows path encoding -- )
 123     [ write-csv ] with-file-writer ;