basis/csv/csv.factor

   1 ! Copyright (C) 2007, 2008 Phil Dawes
   2 ! See http://factorcode.org/license.txt for BSD license.
   3 USING: combinators fry io io.files io.streams.string kernel
   4 make math memoize namespaces sbufs sequences sequences.private
   5 unicode.categories ;
   6 IN: csv
   7
   8 SYMBOL: delimiter
   9
  10 CHAR: , delimiter set-global
  11
  12 <PRIVATE
  13
  14 : delimiter> ( -- delimiter ) delimiter get ; inline
  15
  16 MEMO: field-delimiters ( delimiter -- field-end quoted-field )
  17     [ "\n" swap suffix ] [ "\"\n" swap suffix ] bi ; inline
  18
  19 DEFER: quoted-field
  20
  21 : maybe-escaped-quote ( delimeter stream quoted? -- delimiter stream endchar/f )
  22     2over stream-read1 swap over =
  23     [ nip ] [
  24         {
  25             { CHAR: "    [ [ CHAR: " , ] when quoted-field ] }
  26             { CHAR: \n   [ ] } ! Error: newline inside string?
  27             [ [ , drop f maybe-escaped-quote ] when* ]
  28         } case
  29      ] if ; inline recursive
  30
  31 : quoted-field ( delimiter stream -- delimiter stream endchar/f )
  32     "\"" over stream-read-until drop % t maybe-escaped-quote ;
  33
  34 : ?trim ( string -- string' )
  35     dup length [ drop "" ] [
  36         over first-unsafe blank?
  37         [ drop t ] [ 1 - over nth-unsafe blank? ] if
  38         [ [ blank? ] trim ] when
  39     ] if-zero ; inline
  40
  41 : field ( delimiter stream field-end quoted-field -- delimiter sep/f field )
  42     pick stream-read-until dup CHAR: " = [
  43         drop
  44         [ drop [ quoted-field nip ] "" make ]
  45         [
  46             swap rot stream-read-until
  47             [ "\"" glue ] dip swap ?trim
  48         ]
  49         if-empty
  50     ] [ [ 2drop ] 2dip swap ?trim ] if ;
  51
  52 : (row) ( delimiter stream field-end quoted-field -- delimiter sep/f fields )
  53     [ dup [ 2dup = ] ] 3dip
  54     [ [ drop ] 3dip field ] 3curry produce ;
  55
  56 : row ( delimiter -- delimiter sep/f fields )
  57     input-stream get over field-delimiters (row) ;
  58
  59 : (csv) ( -- )
  60     delimiter>
  61     [ dup [ empty? ] all? [ drop ] [ , ] if ]
  62     input-stream get pick field-delimiters
  63     [ (row) ] 3curry do while drop ;
  64
  65 PRIVATE>
  66
  67 : read-row ( stream -- row )
  68     [ delimiter> row 2nip ] with-input-stream ;
  69
  70 : read-csv ( stream -- rows )
  71     [ [ (csv) ] { } make ] with-input-stream
  72     dup last { "" } = [ but-last ] when ;
  73
  74 : string>csv ( string -- csv )
  75     <string-reader> read-csv ;
  76
  77 : file>csv ( path encoding -- csv )
  78     <file-reader> read-csv ;
  79
  80 : with-delimiter ( ch quot -- )
  81     [ delimiter ] dip with-variable ; inline
  82
  83 <PRIVATE
  84
  85 : needs-escaping? ( cell delimiter -- ? )
  86     '[ dup "\n\"" member? [ drop t ] [ _ = ] if ] any? ; inline
  87
  88 : escape-quotes ( cell stream -- )
  89     CHAR: " over stream-write1 swap [
  90         [ over stream-write1 ]
  91         [ dup CHAR: " = [ over stream-write1 ] [ drop ] if ] bi
  92     ] each CHAR: " swap stream-write1 ; inline
  93
  94 : escape-if-required ( cell delimiter stream -- )
  95     [ dupd needs-escaping? ] dip
  96     [ escape-quotes ] [ stream-write ] bi-curry if ; inline
  97
  98 : (write-row) ( row delimiter stream -- )
  99     [ '[ _ _ stream-write1 ] ] 2keep
 100     '[ _ _ escape-if-required ] interleave nl ; inline
 101
 102 PRIVATE>
 103
 104 : write-row ( row -- )
 105     delimiter> output-stream get (write-row) ; inline
 106
 107 <PRIVATE
 108
 109 : (write-csv) ( rows -- )
 110     delimiter> output-stream get '[ _ _ (write-row) ] each ;
 111
 112 PRIVATE>
 113
 114 : write-csv ( rows stream -- )
 115     [ (write-csv) ] with-output-stream ;
 116
 117 : csv>string ( csv -- string )
 118     [ (write-csv) ] with-string-writer ;
 119
 120 : csv>file ( rows path encoding -- )
 121     <file-writer> write-csv ;