basis/classes/struct/struct.factor

   1 ! Copyright (C) 2010, 2011 Joe Groff, Daniel Ehrenberg,
   2 ! John Benediktsson, Slava Pestov.
   3 ! See http://factorcode.org/license.txt for BSD license
   4 IN: classes.struct
   5 DEFER: struct-slots ! for stack-checker
   6 DEFER: struct-class? ! for stack-checker
   7 DEFER: <struct-boa> ! for stack-checker
   8 USING: accessors alien alien.c-types alien.data alien.parser
   9 arrays assocs byte-arrays classes classes.parser classes.private
  10 classes.struct.bit-accessors classes.tuple classes.tuple.parser
  11 classes.tuple.private combinators combinators.short-circuit
  12 combinators.smart cpu.architecture definitions delegate.private
  13 effects functors.backend generalizations generic generic.parser
  14 io kernel kernel.private lexer libc math math.order parser
  15 quotations sequences sequences.private slots slots.private
  16 specialized-arrays stack-checker.dependencies summary vectors
  17 vocabs.loader vocabs.parser words ;
  18
  19 SPECIALIZED-ARRAY: uchar
  20
  21 ERROR: struct-must-have-slots ;
  22
  23 M: struct-must-have-slots summary
  24     drop "Struct definitions must have slots" ;
  25
  26 TUPLE: struct
  27     { (underlying) c-ptr read-only } ;
  28
  29 ! We hijack the core slots vocab's slot-spec type for struct
  30 ! fields. Note that 'offset' is in bits, not bytes, to support
  31 ! bitfields.
  32 TUPLE: struct-slot-spec < slot-spec
  33     type packed? ;
  34
  35 ! For a struct-bit-slot-spec, offset is in bits, not bytes
  36 TUPLE: struct-bit-slot-spec < struct-slot-spec
  37     bits signed? ;
  38
  39 PREDICATE: struct-class < tuple-class
  40     superclass-of \ struct eq? ;
  41
  42 SLOT: fields
  43
  44 : struct-slots ( struct-class -- slots )
  45     "c-type" word-prop fields>> ;
  46
  47 M: struct-class group-words
  48     struct-slots slot-group-words ;
  49
  50 ! struct allocation
  51 M: struct >c-ptr
  52     2 slot { c-ptr } declare ; inline
  53
  54 : struct-prototype ( class -- prototype ) "prototype" word-prop ; foldable
  55
  56 : memory>struct ( ptr class -- struct )
  57     ! This is sub-optimal if the class is not literal, but gets
  58     ! optimized down to efficient code if it is.
  59     struct-class check-instance
  60     M\ tuple-class boa execute( ptr class -- struct ) ;
  61
  62 : read-struct ( class -- struct )
  63     [ heap-size read ] [ memory>struct ] bi ;
  64
  65 <PRIVATE
  66
  67 : init-struct ( class with-prototype: ( prototype -- alien ) sans-prototype: ( class -- alien ) -- alien )
  68     '[ dup struct-prototype _ _ ?if ] keep memory>struct ; inline
  69
  70 PRIVATE>
  71
  72 : (malloc-struct) ( class -- struct )
  73     [ heap-size malloc ] keep memory>struct ; inline
  74
  75 : malloc-struct ( class -- struct )
  76     [ >c-ptr malloc-byte-array ] [ 1 swap heap-size calloc ] init-struct ; inline
  77
  78 : (struct) ( class -- struct )
  79     [ heap-size (byte-array) ] keep memory>struct ; inline
  80
  81 : <struct> ( class -- struct )
  82     [ >c-ptr clone ] [ heap-size <byte-array> ] init-struct ; inline
  83
  84 <PRIVATE
  85
  86 : pad-struct-slots ( values class -- values' class )
  87     [ struct-slots [ initial>> ] map over length tail append ] keep ;
  88
  89 : sign-extend ( n bits -- n' )
  90     ! formula from:
  91     ! http://guru.multimedia.cx/fast-sign-extension/
  92     1 - -1 swap shift [ + ] keep bitxor ; inline
  93
  94 : sign-extender ( signed? bits -- quot )
  95     '[ _ [ _ sign-extend ] when ] ;
  96
  97 GENERIC: (reader-quot) ( slot -- quot: ( struct -- value ) )
  98
  99 M: struct-slot-spec (reader-quot)
 100     [ offset>> ] [ type>> ] bi '[ >c-ptr _ _ alien-value ] ;
 101
 102 M: struct-bit-slot-spec (reader-quot)
 103     [ [ offset>> ] [ bits>> ] bi bit-reader ]
 104     [ [ signed?>> ] [ bits>> ] bi sign-extender ]
 105     bi compose
 106     [ >c-ptr ] prepose ;
 107
 108 GENERIC: (writer-quot) ( slot -- quot: ( value struct -- ) )
 109
 110 M: struct-slot-spec (writer-quot)
 111     [ offset>> ] [ type>> ] bi '[ >c-ptr _ _ set-alien-value ] ;
 112
 113 M: struct-bit-slot-spec (writer-quot)
 114     [ offset>> ] [ bits>> ] bi bit-writer [ >c-ptr ] prepose ;
 115
 116 : (boxer-quot) ( class -- quot )
 117     '[ _ memory>struct ] ;
 118
 119 : (unboxer-quot) ( class -- quot )
 120     drop [ >c-ptr ] ;
 121
 122 MACRO: read-struct-slot ( slot -- quot: ( struct -- value ) )
 123     dup type>> add-depends-on-c-type
 124     (reader-quot) ;
 125
 126 MACRO: write-struct-slot ( slot -- quot: ( value struct -- ) )
 127     dup type>> add-depends-on-c-type
 128     (writer-quot) ;
 129
 130 PRIVATE>
 131
 132 MACRO: <struct-boa> ( class -- quot: ( ... -- struct ) )
 133     dup struct-slots
 134     [ length ] [ [ (writer-quot) '[ over @ ] ] map ] bi
 135     '[ [ _ (struct) ] _ ndip _ spread ] ;
 136
 137 M: struct-class boa>object
 138     swap pad-struct-slots
 139     [ <struct> ] [ struct-slots ] bi
 140     [ [ (writer-quot) call( value struct -- ) ] with 2each ] keepd ;
 141
 142 M: struct-class new <struct> ;
 143
 144 M: struct-class boa <struct-boa> ;
 145
 146 M: struct-class boa-effect
 147     [ struct-slots [ name>> ] map ] [ name>> 1array ] bi <effect> ;
 148
 149 M: struct-class initial-value* <struct> t ; inline
 150
 151 ! Struct slot accessors
 152
 153 GENERIC: struct-slot-values ( struct -- sequence )
 154
 155 M: struct-class reader-quot
 156     dup type>> array? [ dup type>> first define-array-vocab drop ] when
 157     nip '[ _ read-struct-slot ] ;
 158
 159 M: struct-class writer-quot
 160     nip '[ _ write-struct-slot ] ;
 161
 162 : offset-of ( field struct -- offset )
 163     struct-slots slot-named offset>> ; inline
 164
 165 ! XXX: make this faster
 166 M: struct hashcode*
 167     nip dup >c-ptr [ struct-slot-values hashcode ] [ drop 0 ] if ; inline
 168
 169 ! c-types
 170
 171 TUPLE: struct-c-type < abstract-c-type
 172     fields
 173     return-in-registers? ;
 174
 175 INSTANCE: struct-c-type value-type
 176
 177 M: struct-c-type lookup-c-type ;
 178
 179 M: struct-c-type base-type ;
 180
 181 : large-struct? ( type -- ? )
 182     {
 183         { [ dup void? ] [ drop f ] }
 184         { [ dup base-type struct-c-type? not ] [ drop f ] }
 185         [ return-struct-in-registers? not ]
 186     } cond ;
 187
 188 <PRIVATE
 189 : struct-slot-values-quot ( class -- quot )
 190     struct-slots
 191     [ name>> reader-word 1quotation ] map
 192     \ cleave [ ] 2sequence
 193     \ output>array [ ] 2sequence ;
 194
 195 : define-struct-slot-values-method ( class -- )
 196     [ \ struct-slot-values ] [ struct-slot-values-quot ] bi
 197     define-inline-method ;
 198
 199 : forget-struct-slot-values-method ( class -- )
 200     \ struct-slot-values ?lookup-method forget ;
 201
 202 : struct-equals-quot ( class -- quot )
 203     dup struct-slots
 204     [ name>> reader-word '[ [ _ execute ] same? ] ] map
 205     '[ over _ instance? [ _ 2&& ] [ 2drop f ] if ] ;
 206
 207 : define-equal-method ( class -- )
 208     [ \ equal? ] [ struct-equals-quot ] bi define-inline-method ;
 209
 210 : forget-equal-method ( class -- )
 211     \ equal? ?lookup-method forget ;
 212
 213 : clone-underlying ( struct -- byte-array )
 214     binary-object memory>byte-array ; inline
 215
 216 : define-clone-method ( class -- )
 217     [ \ clone ]
 218     [ \ clone-underlying swap literalize \ memory>struct [ ] 3sequence ] bi
 219     define-inline-method ;
 220
 221 : forget-clone-method ( class -- )
 222     \ clone ?lookup-method forget ;
 223
 224 :: c-type-for-class ( class slots size align -- c-type )
 225     struct-c-type new
 226         byte-array >>class
 227         class >>boxed-class
 228         slots >>fields
 229         size >>size
 230         align >>align
 231         align >>align-first
 232         class (unboxer-quot) >>unboxer-quot
 233         class (boxer-quot) >>boxer-quot ;
 234
 235 GENERIC: compute-slot-offset ( offset class -- offset' )
 236
 237 : c-type-align-at ( slot-spec offset -- n )
 238     over packed?>> [ 2drop 1 ] [
 239         [ type>> ] dip
 240         0 = [ c-type-align-first ] [ c-type-align ] if
 241     ] if ;
 242
 243 M: struct-slot-spec compute-slot-offset
 244     [ over c-type-align-at 8 * align ] keep
 245     [ [ 8 /i ] dip offset<< ] [ type>> heap-size 8 * + ] 2bi ;
 246
 247 M: struct-bit-slot-spec compute-slot-offset
 248     [ offset<< ] [ bits>> + ] 2bi ;
 249
 250 : compute-struct-offsets ( slots -- size )
 251     0 [ compute-slot-offset ] reduce 8 align 8 /i ;
 252
 253 : compute-union-offsets ( slots -- size )
 254     1 [ 0 >>offset type>> heap-size max ] reduce ;
 255
 256 : struct-alignment ( slots -- align )
 257     [ struct-bit-slot-spec? ] reject
 258     1 [ dup offset>> c-type-align-at max ] reduce ;
 259
 260 PRIVATE>
 261
 262 : struct-size ( class -- n ) "struct-size" word-prop ; inline
 263
 264 M: struct byte-length class-of struct-size ; inline foldable
 265 M: struct binary-zero? binary-object uchar <c-direct-array> [ 0 = ] all? ; inline
 266
 267 ! class definition
 268
 269 <PRIVATE
 270 : struct-needs-prototype? ( class -- ? )
 271     struct-slots [ initial>> binary-zero? ] all? not ;
 272
 273 : make-struct-prototype ( class -- prototype )
 274     dup struct-needs-prototype? [
 275         [ "c-type" word-prop size>> <byte-array> ]
 276         [ memory>struct ]
 277         [ struct-slots ] tri
 278         [
 279             [ initial>> ]
 280             [ (writer-quot) ] bi
 281             over [ swapd [ call( value struct -- ) ] keepd ] [ 2drop ] if
 282         ] each
 283     ] [ drop f ] if ;
 284
 285 : (struct-methods) ( class -- )
 286     [ define-struct-slot-values-method ]
 287     [ define-clone-method ]
 288     [ define-equal-method ]
 289     tri ;
 290
 291 : check-struct-slots ( slots -- )
 292     [ type>> lookup-c-type drop ] each ;
 293
 294 : redefine-struct-tuple-class ( class -- )
 295     [ struct f redefine-tuple-class ] [ make-final ] bi ;
 296
 297 : resize-underlying ( struct -- )
 298     [ 2 slot dup byte-array? ]
 299     [ class-of "struct-size" word-prop '[ _ swap resize ] [ drop f ] if ]
 300     [ 2 set-slot ] tri ;
 301
 302 M: struct update-tuple
 303     ! make sure underlying byte-array is correct size, but maybe
 304     ! has incorrect contents... is there something better to do?
 305     [ resize-underlying ] [ call-next-method ] bi ;
 306
 307 : forget-struct-slot-accessors ( class -- )
 308     dup "c-type" word-prop [
 309         dup struct-c-type? [
 310             fields>> forget-slot-accessors
 311         ] [ 2drop ] if
 312     ] [ drop ] if* ;
 313
 314 :: (define-struct-class) ( class slot-specs offsets-quot alignment-quot -- )
 315     slot-specs check-struct-slots
 316     slot-specs empty? [ struct-must-have-slots ] when
 317     class redefine-struct-tuple-class
 318     slot-specs offsets-quot call :> unaligned-size
 319     slot-specs alignment-quot call :> alignment
 320     unaligned-size alignment align :> size
 321
 322     class slot-specs size alignment c-type-for-class :> c-type
 323
 324     class forget-struct-slot-accessors
 325
 326     c-type class typedef
 327     class slot-specs define-accessors
 328     class size "struct-size" set-word-prop
 329     class dup make-struct-prototype "prototype" set-word-prop
 330     class (struct-methods) ; inline
 331
 332 : make-packed-slots ( slots -- slot-specs )
 333     make-slots [ t >>packed? ] map! ;
 334
 335 PRIVATE>
 336
 337 : define-struct-class ( class slots -- )
 338     make-slots
 339     [ compute-struct-offsets ] [ struct-alignment ]
 340     (define-struct-class) ;
 341
 342 : define-packed-struct-class ( class slots -- )
 343     make-packed-slots
 344     [ compute-struct-offsets ] [ drop 1 ]
 345     (define-struct-class) ;
 346
 347 : define-union-struct-class ( class slots -- )
 348     make-slots
 349     [ compute-union-offsets ] [ struct-alignment ]
 350     (define-struct-class) ;
 351
 352 ERROR: invalid-struct-slot token ;
 353
 354 : struct-slot-class ( c-type -- class' )
 355     lookup-c-type c-type-boxed-class
 356     dup \ byte-array = [ drop \ c-ptr ] when ;
 357
 358 M: struct-class reset-class
 359     {
 360         [ \ <struct-boa> def>> first delete-at ]
 361         [ forget-struct-slot-accessors ]
 362         [ forget-struct-slot-values-method ]
 363         [ forget-clone-method ]
 364         [ forget-equal-method ]
 365         [ { "c-type" "layout" "struct-size" } remove-word-props ]
 366         [ call-next-method ]
 367     } cleave ;
 368
 369 SYMBOL: bits:
 370
 371 <PRIVATE
 372
 373 :: set-bits ( slot-spec n -- slot-spec )
 374     struct-bit-slot-spec new
 375         n >>bits
 376         slot-spec type>> c-type-signed >>signed?
 377         slot-spec name>> >>name
 378         slot-spec class>> >>class
 379         slot-spec type>> >>type
 380         slot-spec read-only>> >>read-only
 381         slot-spec initial>> >>initial ;
 382
 383 : peel-off-struct-attributes ( slot-spec array -- slot-spec array )
 384     dup empty? [
 385         unclip {
 386             { initial: [ [ first >>initial ] [ rest ] bi ] }
 387             { read-only [ [ t >>read-only ] dip ] }
 388             { bits: [ [ first set-bits ] [ rest ] bi ] }
 389             [ bad-slot-attribute ]
 390         } case
 391     ] unless ;
 392
 393 PRIVATE>
 394
 395 : <struct-slot-spec> ( name c-type attributes -- slot-spec )
 396     [ struct-slot-spec new ] 3dip
 397     [ >>name ]
 398     [ [ >>type ] [ struct-slot-class init-slot-class ] bi ]
 399     [ [ dup empty? ] [ peel-off-struct-attributes ] until drop ] tri* ;
 400
 401 <PRIVATE
 402 : parse-struct-slot ( -- slot )
 403     scan-token scan-c-type \ } parse-until <struct-slot-spec> ;
 404
 405 : parse-struct-slots ( slots -- slots' more? )
 406     scan-token {
 407         { ";" [ f ] }
 408         { "{" [ parse-struct-slot suffix! t ] }
 409         [ invalid-struct-slot ]
 410     } case ;
 411
 412 : parse-struct-definition ( -- class slots )
 413     scan-new-class 8 <vector> [ parse-struct-slots ] [ ] while >array
 414     dup [ name>> ] map check-duplicate-slots ;
 415 PRIVATE>
 416
 417 SYNTAX: STRUCT:
 418     parse-struct-definition define-struct-class ;
 419
 420 SYNTAX: PACKED-STRUCT:
 421     parse-struct-definition define-packed-struct-class ;
 422
 423 SYNTAX: UNION-STRUCT:
 424     parse-struct-definition define-union-struct-class ;
 425
 426 SYNTAX: S{
 427     scan-word dup struct-slots parse-tuple-literal-slots suffix! ;
 428
 429 SYNTAX: S@
 430     scan-word scan-object swap memory>struct suffix! ;
 431
 432 ! functor support
 433
 434 <PRIVATE
 435 : scan-c-type* ( -- c-type/param )
 436     scan-token dup "{" = [ drop \ } parse-until >array ] [ search ] if ;
 437
 438 : parse-struct-slot* ( accum -- accum )
 439     scan-string-param scan-c-type* \ } parse-until
 440     [ <struct-slot-spec> suffix! ] 3curry append! ;
 441
 442 : parse-struct-slots* ( accum -- accum more? )
 443     scan-token {
 444         { ";" [ f ] }
 445         { "{" [ parse-struct-slot* t ] }
 446         [ invalid-struct-slot ]
 447     } case ;
 448
 449 PRIVATE>
 450
 451 FUNCTOR-SYNTAX: STRUCT:
 452     scan-param suffix!
 453     [ 8 <vector> ] append!
 454     [ parse-struct-slots* ] [ ] while
 455     [ >array define-struct-class ] append! ;
 456
 457 { "classes.struct" "prettyprint" } "classes.struct.prettyprint" require-when