Draft implementation of application analysis.
[scheme.forth.jl.git] / src / scheme.4th
index 63f8ace..7a1a1dc 100644 (file)
@@ -3,6 +3,7 @@ scheme definitions
 
 include term-colours.4th
 include defer-is.4th
+include goto.4th
 include catch-throw.4th
 include integer.4th
 include float.4th
@@ -10,6 +11,8 @@ include float.4th
 include debugging.4th
 
 defer read
+defer expand
+defer analyze
 defer eval
 defer print
 
@@ -51,27 +54,15 @@ variable nextexception
     1 nextexception +!
     does> @ ;
 
-make-exception recoverable-exception
-make-exception unrecoverable-exception
-
-: display-exception-msg ( addr count -- )
+: except-message:
     bold fg red
     ." Exception: "
-    type
-    reset-term ;
-
-: throw" immediate 
-    [compile] s"
-
-    ['] rot , ['] dup ,
+;
 
-    [compile] if
-        ['] -rot ,
-        ['] display-exception-msg ,
-    [compile] then
+make-exception recoverable-exception
+make-exception unrecoverable-exception
 
-    ['] throw ,
-;
+: throw reset-term throw ;
 
 \ }}}
 
@@ -103,7 +94,7 @@ variable nextfree
     then
 
     nextfree @ scheme-memsize >= if
-        unrecoverable-exception throw s" Out of memory!"
+        except-message: ." Out of memory!" unrecoverable-exception throw
     then
 ;
 
@@ -173,6 +164,10 @@ variable nextfree
     R> R>
 ;
 
+: 2pick ( an bn an-1 bn-1 ... a0 b0 n -- an bn an-1 bn-1 ... a0 b0 an bn )
+    2* 1+ dup
+    >R pick R> pick ;
+
 \ }}}
 
 \ ---- Pre-defined symbols ---- {{{
@@ -273,8 +268,8 @@ create-symbol ok                ok-symbol
 create-symbol if                if-symbol
 create-symbol lambda            lambda-symbol
 create-symbol λ                 λ-symbol
-create-symbol begin             begin-symbol
 create-symbol eof               eof-symbol
+create-symbol no-match          no-match-symbol
 
 \ Symbol to be bound to welcome message procedure by library
 create-symbol welcome           welcome-symbol
@@ -471,24 +466,30 @@ objvar vals
 hide vars
 hide vals
 
+objvar var
+
 : lookup-var ( var env -- val )
+    2over var obj!
     get-vars-vals if
         2swap 2drop car
     else
-        recoverable-exception throw" Tried to read unbound variable."
+        except-message: ." tried to read unbound variable '" var obj@ print ." '." recoverable-exception  throw
     then
 ;
 
 : set-var ( var val env -- )
     >R >R 2swap R> R> ( val var env )
+    2over var obj!
     get-vars-vals if
         2swap 2drop ( val vals )
         set-car!
     else
-        recoverable-exception throw" Tried to set unbound variable."
+        except-message: ." tried to set unbound variable '" var obj@ print ." '." recoverable-exception throw
     then
 ;
 
+hide var
+
 objvar env
 
 : define-var ( var val env -- )
@@ -536,11 +537,11 @@ global-env obj!
 : ensure-arg-count ( args n -- )
     dup 0= if
         drop nil objeq? false = if
-            recoverable-exception throw" Too many arguments for primitive procedure."
+            except-message: ." Too many arguments for primitive procedure." recoverable-exception throw
         then
     else
         -rot nil? if
-            recoverable-exception throw" Too few arguments for primitive procedure."
+            except-message: ." Too few arguments for primitive procedure." recoverable-exception  throw
         then
         
         cdr rot 1- recurse
@@ -550,17 +551,17 @@ global-env obj!
 : ensure-arg-type-and-count ( tn tn-1 ... t2 t1 args n -- )
     dup 0= if
         drop nil objeq? false = if
-            recoverable-exception throw" Too many arguments for primitive procedure."
+            except-message: ." Too many arguments for primitive procedure." recoverable-exception throw
         then
     else
         -rot nil? if
-            recoverable-exception throw" Too few arguments for primitive procedure."
+            except-message: ." Too few arguments for primitive procedure." recoverable-exception throw
         then
 
         2dup cdr 2swap car ( ... t1 n args' arg1 )
         2rot 1- swap 2swap rot ( ... args' n-1 arg1 t1 )
         istype? false = if
-            recoverable-exception throw" Incorrect type for primitive procedure."
+            except-message: ." Incorrect type for primitive procedure." recoverable-exception throw
         then
 
         2drop recurse
@@ -630,7 +631,7 @@ global-env obj!
 
 : ensure-arg-type ( arg type -- arg )
     istype? false = if
-        recoverable-exception throw" Incorrect argument type for primitive procedure."
+        except-message: ." Incorrect argument type for primitive procedure." recoverable-exception throw
     then
 ;
 
@@ -1327,12 +1328,12 @@ parse-idx-stack parse-idx-sp !
     cdr ( env args )
 
     nil? if
-        recoverable-exception throw" no arguments to unquote."
+        except-message: ." no arguments to unquote." recoverable-exception throw
     then
 
     2dup cdr
     nil? false = if
-        recoverable-exception throw" too many arguments to unquote."
+        except-message: ." too many arguments to unquote." recoverable-exception throw
     then
 
     2drop car 2swap eval
@@ -1390,12 +1391,12 @@ defer eval-quasiquote-item
     2swap cdr ( env args )
 
     nil? if
-        recoverable-exception throw" no arguments to quasiquote."
+        except-message: ." no arguments to quasiquote." recoverable-exception throw
     then
 
     2dup cdr ( env args args-cdr )
     nil? false = if
-        recoverable-exception throw" too many arguments to quasiquote."
+        except-message: ." too many arguments to quasiquote." recoverable-exception throw
     then
 
     2drop car ( env arg )
@@ -1409,34 +1410,21 @@ defer eval-quasiquote-item
 : definition? ( obj -- obj bool )
     define-symbol tagged-list? ;
 
-: make-lambda ( params body -- lambda-exp )
-    lambda-symbol -2rot cons cons ;
-
-( Handles iterative expansion of defines in
-  terms of nested lambdas. Most Schemes only
-  handle one iteration of expansion! )
-: definition-var-val ( obj -- var val )
-
-    cdr 2dup cdr 2swap car ( val var )
-
-    begin
-        symbol-type istype? false =
-    while
-        2dup cdr 2swap car ( val formals var' )
-        -2rot 2swap ( var' formals val )
-        make-lambda nil cons ( var' val' )
-        2swap ( val' var' )
-    repeat
+: definition-var ( obj -- var )
+    cdr car ;
 
-    2swap car
-;
+: definition-val ( obj -- val )
+    cdr cdr car ;
 
 : eval-definition ( obj env -- res )
-    2dup 2rot ( env env obj )
-    definition-var-val ( env env var val )
-    2rot eval  ( env var val )
+    2swap
+    2over 2over
+    definition-val 2swap
+    eval
 
-    2rot ( var val env )
+    2swap definition-var 2swap
+
+    2rot
     define-var
 
     ok-symbol
@@ -1530,12 +1518,6 @@ hide env
 : lambda-body ( obj -- body )
     cdr cdr ;
 
-: begin? ( obj -- obj bool )
-    begin-symbol tagged-list? ;
-
-: begin-actions ( obj -- actions )
-    cdr ;
-
 : eval-sequence ( explist env -- finalexp env )
     ( Evaluates all bar the final expressions in
       an an expression list. The final expression
@@ -1606,7 +1588,7 @@ hide env
 : flatten-proc-args ( argvals argnames -- argvals' argnames' )
     nil? if
         2over nil? false = if
-            recoverable-exception throw" Too many arguments for compound procedure."
+            except-message: ." Too many arguments for compound procedure." recoverable-exception throw
         else
             2drop
         then
@@ -1623,7 +1605,7 @@ hide env
 
     2over
     nil? if
-        recoverable-exception throw" Too few arguments for compound procedure."
+        except-message: ." Too few arguments for compound procedure." recoverable-exception throw
     else
         cdr
     then
@@ -1658,24 +1640,10 @@ hide env
                 R> drop ['] eval goto-deferred  \ Tail call optimization
             endof
 
-            recoverable-exception throw" Object not applicable."
+            except-message: ." object '" drop print ." ' not applicable." recoverable-exception throw
         endcase
 ;
 
-( Simply evaluates the given procedure with expbody as its argument. )
-: macro-expand ( proc expbody -- result )
-    2swap
-    2dup procedure-body ( expbody proc procbody )
-    -2rot 2dup procedure-params ( procbody expbody proc argnames )
-    -2rot procedure-env ( procbody argnames expbody procenv )
-    
-    -2rot 2swap
-    flatten-proc-args
-    2swap 2rot
-
-    extend-env eval-sequence eval
-;
-
 :noname ( obj env -- result )
     2swap
 
@@ -1744,45 +1712,419 @@ hide env
         exit
     then
 
-    begin? if
-        begin-actions 2swap
-        eval-sequence
-        ['] eval goto-deferred
-    then
-
     application? if
 
         2over 2over ( env exp env exp )
         operator ( env exp env opname )
 
-        2dup lookup-macro nil? false = if
-             \ Macro function evaluation
+        2swap eval ( env exp proc )
 
-            ( env exp env opname mproc )
-            2swap 2drop -2rot 2drop cdr ( env mproc body )
+        -2rot ( proc env exp )
+        operands 2swap ( proc operands env )
+        list-of-vals ( proc argvals )
 
-            macro-expand
+        apply
+        exit
+    then
 
-            2swap
-            ['] eval goto-deferred
-        else
-           \ Regular function application
+    except-message: ." tried to evaluate object with unknown type." recoverable-exception throw
+; is eval
 
-            2drop ( env exp env opname )
+\ }}}
 
-            2swap eval ( env exp proc )
+\ ---- Analyze ----
 
-            -2rot ( proc env exp )
-            operands 2swap ( proc operands env )
-            list-of-vals ( proc argvals )
+: evaluate-eproc ( eproc env --- res )
 
-            apply
-            exit
-        then
+    >R >R
+    
+    begin
+        nil? invert
+    while
+        2dup car
+        2swap cdr
+    repeat
+    
+    2drop \ get rid of null
+
+    R> R>
+
+    \ Final element of eproc list is primitive procedure
+    drop \ dump type signifier
+    goto \ jump straight to primitive procedure (executor)
+;
+
+: self-evaluating-executor ( exp env -- exp )
+    2drop ;
+
+: analyze-self-evaluating ( exp --- eproc )
+    ['] self-evaluating-executor primitive-proc-type
+    nil cons cons
+;
+
+: quote-executor ( exp env -- exp )
+    2drop ;
+
+: analyze-quoted ( exp -- eproc )
+    quote-body
+
+    ['] quote-executor primitive-proc-type
+    nil cons cons
+;
+
+: variable-executor ( var env -- val )
+    lookup-var ;
+
+: analyze-variable ( exp -- eproc )
+    ['] variable-executor primitive-proc-type
+    nil cons cons
+;
+
+: definition-executor ( var val-eproc env -- ok )
+    2swap 2over ( var env val-eproc env )
+    evaluate-eproc 2swap ( var val env )
+    define-var
+    ok-symbol
+;
+
+: analyze-definition ( exp -- eproc )
+    2dup definition-var
+    2swap definition-val analyze
+
+    ['] definition-executor primitive-proc-type
+    nil cons cons cons
+;
+
+: assignment-executor ( var val-eproc env -- ok )
+    2swap 2over ( var env val-eproc env )
+    evaluate-eproc 2swap ( var val env )
+    set-var
+    ok-symbol
+;
+
+: analyze-assignment ( exp -- eproc )
+    2dup assignment-var
+    2swap assignment-val analyze ( var val-eproc )
+
+    ['] assignment-executor primitive-proc-type
+    nil cons cons cons
+;
+
+: if-executor ( cproc aproc pproc env -- res )
+    2swap 2over ( cproc aproc env pproc env -- res )
+    evaluate-eproc
+
+    true? if
+        2swap 2drop
+    else
+        2rot 2drop
     then
 
-    recoverable-exception throw" Tried to evaluate object with unknown type."
-; is eval
+    evaluate-eproc
+;
+
+: analyze-if ( exp -- eproc )
+    2dup if-predicate analyze
+    2swap 2dup if-consequent analyze
+    2swap if-alternative analyze
+
+    ['] if-executor primitive-proc-type
+    nil cons cons cons cons
+;
+
+: sequence-executor ( eproc-list env -- res )
+    2swap
+
+    begin
+        2dup cdr ( env elist elist-rest)
+        nil? invert
+    while
+
+        -2rot car 2over ( elist-rest env elist-head env )
+        evaluate-eproc  ( elist-rest env head-res )
+        2drop 2swap     ( env elist-rest )
+    repeat
+
+    2drop car 2swap
+    ['] evaluate-eproc goto
+;
+
+
+: (analyze-sequence) ( explist -- eproc-list )
+    nil? if exit then
+
+    2dup car analyze
+    2swap cdr recurse
+
+    cons
+;
+
+: analyze-sequence ( explist -- eproc )
+    (analyze-sequence)
+    ['] sequence-executor primitive-proc-type
+    nil cons cons
+;
+
+: lambda-executor ( params bproc env -- res )
+    make-procedure
+    ( Although this is packaged up as a regular compound procedure,
+      the "body" element contains an _eproc_ to be evaluated in an
+      environment resulting from extending env with the parameter
+      bindings. )
+;
+
+: analyze-lambda ( exp -- eproc )
+    2dup lambda-parameters
+    2swap lambda-body
+
+    nil? if
+        except-message: ." encountered lambda with an empty body." recoverable-exception throw
+    then
+
+    analyze-sequence
+
+    ['] lambda-executor primitive-proc-type
+    nil cons cons cons
+;
+
+: operand-eproc-list ( operands -- eprocs )
+    nil? invert if
+        2dup car analyze
+        2swap cdr recurse
+        cons
+    then
+;
+
+: evaluate-operand-eprocs ( env aprocs -- vals )
+    nil? invert if
+        2over 2over car evaluate-eproc ( env aprocs thisres )
+        -rot cdr recurse
+;
+
+: application-executor ( operator-proc arg-procs env -- res )
+    2rot 2over ( aprocs env fproc env )
+    evaluate-eproc ( aprocs env proc )
+    2swap -2rot 2over 2swap ( proc env env aprocs )
+    evaluate-operand-eprocs ( proc env vals )
+    
+    2rot ( env vals proc )
+    
+    dup case
+        primitive-proc-type of
+            2rot 2drop execute
+        endof
+
+        compound-proc-type of
+                2dup procedure-body ( argvals proc body )
+                -2rot 2dup procedure-params ( bproc argvals proc argnames )
+                -2rot procedure-env ( bproc argnames argvals procenv )
+
+                -2rot 2swap
+                flatten-proc-args
+                2swap 2rot
+
+                extend-env ( bproc env )
+
+               ['] evaluate-eproc goto
+        endof
+
+        except-message: ." object '" drop print ." ' not applicable." recoverable-exception throw
+    endcase
+;
+
+: analyze-application ( exp -- eproc )
+    2dup operator analyze
+    2swap operands operand-eproc-list
+
+    ['] application-executor
+    nil cons cons cons
+;
+
+:noname ( exp --- eproc )
+
+    self-evaluating? if
+        analyze-self-evaluating
+        exit
+    then
+
+    quote? if
+        analyze-quoted
+        exit
+    then
+    
+    variable? if
+        analyze-variable
+        exit
+    then
+
+    definition? if
+        analyze-definition
+        exit
+    then
+
+    assignment? if
+        analyze-assignment
+        exit
+    then
+
+    if? if
+        analyze-if
+        exit
+    then
+
+    lambda? if
+        analyze-lambda
+        exit
+    then
+
+; is analyze
+
+
+\ ---- Macro Expansion ---- {{{
+
+( Simply evaluates the given procedure with expbody as its argument. )
+: macro-eval ( proc expbody -- result )
+    2swap
+    2dup procedure-body ( expbody proc procbody )
+    -2rot 2dup procedure-params ( procbody expbody proc argnames )
+    -2rot procedure-env ( procbody argnames expbody procenv )
+    
+    -2rot 2swap
+    flatten-proc-args
+    2swap 2rot
+
+    extend-env eval-sequence eval
+;
+
+: expand-macro ( exp -- result )
+    pair-type istype? invert if exit then
+    2dup car symbol-type istype? invert if 2drop exit then
+    
+    lookup-macro nil? if
+        2drop exit then
+
+    2over cdr macro-eval
+
+    2dup no-match-symbol objeq? if
+        2drop exit
+    else
+        2swap 2drop
+    then
+
+    R> drop ['] expand goto-deferred
+;
+
+: expand-quasiquote-item ( exp -- result )
+    nil? if exit then
+
+    unquote? if
+        unquote-symbol 2swap cdr car expand nil cons cons
+        exit
+    then
+
+    unquote-splicing? if
+        unquote-splicing-symbol 2swap cdr car expand nil cons cons
+        exit
+    then
+    
+    pair-type istype? if
+        2dup car recurse
+        2swap cdr recurse
+        cons
+    then
+;
+
+: expand-quasiquote ( exp -- result )
+    quasiquote-symbol 2swap cdr
+
+    expand-quasiquote-item
+
+    cons ;
+
+: expand-definition ( exp -- result )
+    define-symbol 2swap
+
+    2dup definition-var
+    2swap definition-val expand
+    nil ( define var val' nil )
+
+    cons cons cons ;
+
+: expand-assignment ( exp -- result )
+    set!-symbol 2swap
+
+    2dup assignment-var
+    2swap assignment-val expand
+    nil ( define var val' nil )
+
+    cons cons cons ;
+
+: expand-list ( exp -- res )
+    nil? if exit then
+
+    2dup car expand
+    2swap cdr recurse
+
+    cons ;
+
+: macro-definition-nameparams
+    cdr car ;
+
+: expand-define-macro ( exp -- res )
+    define-macro-symbol 2swap
+    2dup macro-definition-nameparams
+    2swap macro-definition-body expand-list
+
+    cons cons ;
+
+: expand-lambda ( exp -- res )
+    lambda-symbol 2swap
+    2dup lambda-parameters
+    2swap lambda-body expand-list
+
+    cons cons ;
+
+: expand-if ( exp -- res )
+    if-symbol 2swap
+    
+    2dup if-predicate expand
+    2swap 2dup if-consequent expand
+    2swap if-alternative none? if
+        2drop nil
+    else
+        expand nil cons
+    then
+
+    cons cons cons ;
+
+: expand-application ( exp -- res )
+    2dup operator expand
+    2swap operands expand-list
+
+    cons ;
+
+:noname ( exp -- result )
+    expand-macro
+
+    self-evaluating? if exit then
+
+    quote? if exit then
+
+    quasiquote? if expand-quasiquote exit then
+
+    definition? if expand-definition exit then
+
+    assignment? if expand-assignment exit then
+
+    macro-definition? if expand-define-macro exit then
+
+    lambda? if expand-lambda exit then
+
+    if? if expand-if exit then
+
+    application? if expand-application exit then
+
+; is expand
 
 \ }}}
 
@@ -1880,7 +2222,7 @@ hide env
     none-type istype? if printnone exit then
     port-type istype? if printport exit then
 
-    recoverable-exception throw" Tried to print object with unknown type."
+    except-message: ." tried to print object with unknown type." recoverable-exception throw
 ; is print
 
 \ }}}
@@ -1968,7 +2310,7 @@ variable gc-stack-depth
 ;
 
 :noname
-    ." GC! "
+    ." GC! "
 
     gc-unmark
 
@@ -2010,6 +2352,8 @@ variable gc-stack-depth
 
         2swap 2drop ( port obj )
 
+        expand
+
         global-env obj@ eval ( port res )
     again
 ;
@@ -2020,7 +2364,7 @@ variable gc-stack-depth
 
     include scheme-primitives.4th
 
-    s" scheme-library.scm" load 2drop
+    s" scheme-library.scm" load 2drop
     
 \ }}}
 
@@ -2038,6 +2382,8 @@ variable gc-stack-depth
         true exit
     then
 
+    expand
+
     global-env obj@ eval
 
     fg cyan ." ; " print reset-term
@@ -2051,7 +2397,7 @@ variable gc-stack-depth
     enable-gc
 
     \ Display welcome message
-    welcome-symbol nil cons global-env obj@ eval 2drop
+    welcome-symbol nil cons global-env obj@ eval 2drop
 
     begin
         ['] repl-body catch