REPL character substitution now working again.
[forth.jl.git] / src / forth.jl
index 97dcc57..ead0bbc 100644 (file)
@@ -1,6 +1,6 @@
 module forth
 
-import Base.REPLCompletions
+import REPL.REPLCompletions, Base.invokelatest, Pkg
 
 # VM mem size
 size_mem = 1000000 # 1 mega-int
@@ -12,9 +12,9 @@ size_TIB = 1000  # Terminal input buffer size
 size_FIB = 1000  # File input buffer size
 
 # Memory arrays
-mem = Array{Int64,1}(size_mem)
-primitives = Array{Function,1}()
-primNames = Array{AbstractString,1}()
+mem = Array{Int64,1}(undef,size_mem)
+primitives = Array{Function,1}(undef, 0)
+primNames = Array{AbstractString,1}(undef, 0)
 
 # Memory geography and built-in variables
 
@@ -34,7 +34,7 @@ mem[CURRENT] = FORTH_LATEST-1       # Compile words to system dict initially
 DICT = mem[H] # Save bottom of dictionary as constant
 
 # VM registers
-type Reg
+mutable struct Reg
     RSP::Int64  # Return stack pointer
     PSP::Int64  # Parameter/data stack pointer
     IP::Int64   # Instruction pointer
@@ -97,7 +97,7 @@ end
 
 # Handy functions for adding/retrieving strings to/from memory.
 
-getString(addr::Int64, len::Int64) = AbstractString([Char(c) for c in mem[addr:(addr+len-1)]])
+getString(addr::Int64, len::Int64) = String([Char(c) for c in mem[addr:(addr+len-1)]])
 
 function putString(str::AbstractString, addr::Int64)
     mem[addr:(addr+length(str)-1)] = [Int64(c) for c in str]
@@ -114,7 +114,7 @@ stringAsInts(str::AbstractString) = [Int(c) for c in collect(str)]
 
 function defPrim(f::Function; name="nameless")
     push!(primitives, f)
-    push!(primNames, replace(name, "\004", "EOF"))
+    push!(primNames, replace(name, "\004" => "EOF"))
 
     return -length(primitives)
 end
@@ -123,7 +123,7 @@ function callPrim(addr::Int64)
     if addr >=0 || -addr>length(primitives)
         error("Attempted to execute non-existent primitive at address $addr.")
     else
-        primitives[-addr]()
+               invokelatest(primitives[-addr])
     end
 end
 getPrimName(addr::Int64) = primNames[-addr]
@@ -501,7 +501,7 @@ end)
 XOR_CFA = defPrimWord("XOR", () -> begin
     b = popPS()
     a = popPS()
-    pushPS(a $ b)
+    pushPS(xor(a, b))
     return NEXT
 end)
 
@@ -677,14 +677,16 @@ READ_LINE_CFA = defPrimWord("READ-LINE", () -> begin
     maxSize = popPS()
     addr = popPS()
 
+    if !(fid in keys(openFiles))
+        error(string("Invalid FID ", fid, "."))
+    end
+
     fh = openFiles[fid]
-    line = readline(fh)
+    line = readline(fh, keep=true)
 
     eofFlag = endswith(line, '\n') ? 0 : -1
     line = chomp(line)
 
-    println("Reading: $line");
-
     putString(line, addr, maxSize)
 
     pushPS(length(line))
@@ -694,6 +696,25 @@ READ_LINE_CFA = defPrimWord("READ-LINE", () -> begin
     return NEXT
 end)
 
+READ_FILE_CFA = defPrimWord("READ-FILE", () -> begin
+    fid = popPS()
+    size = popPS()
+    addr = popPS()
+
+    fh = openFiles[fid]
+
+    string = join(map(x -> Char(x), read(fh, size)), "")
+
+    eofFlag = length(string) == size ? 0 : -1 ;
+
+    putString(string, addr, length(string))
+
+    pushPS(length(string))
+    pushPS(eofFlag)
+
+    return NEXT
+end)
+
 
 EMIT_CFA = defPrimWord("EMIT", () -> begin
     print(Char(popPS()))
@@ -701,14 +722,14 @@ EMIT_CFA = defPrimWord("EMIT", () -> begin
 end)
 
 function raw_mode!(mode::Bool)
-    if ccall(:jl_tty_set_mode, Int32, (Ptr{Void}, Int32), STDIN.handle, mode) != 0
+    if ccall(:jl_tty_set_mode, Int32, (Ptr{Nothing}, Int32), stdin.handle, mode) != 0
         throw("FATAL: Terminal unable to enter raw mode.")
     end
 end
 
 function getKey()
     raw_mode!(true)
-    byte = readbytes(STDIN, 1)[1]
+    byte = read(stdin, 1)[1]
     raw_mode!(false)
 
     if byte == 0x0d
@@ -729,9 +750,9 @@ function getLineFromSTDIN()
 
     function getFrag(s)
         chars = collect(s)
-        slashIdx = findlast(chars, '\\')
+        slashIdx = findlast(isequal('\\'), chars)
 
-        if slashIdx > 0
+        if slashIdx != nothing
             return join(chars[slashIdx:length(chars)])
         else
             return nothing
@@ -750,7 +771,7 @@ function getLineFromSTDIN()
 
         if key == '\n'
             print(" ")
-            return AbstractString(line)
+            return String(line)
 
         elseif key == '\x04'
             if isempty(line)
@@ -816,7 +837,7 @@ NUMBER_CFA = defPrimWord("NUMBER", () -> begin
 
     s = getString(wordAddr, wordLen)
 
-    pushPS(parse(Int64, s, mem[BASE]))
+    pushPS(parse(Int64, s, base=mem[BASE]))
 
     return NEXT
 end)
@@ -969,29 +990,18 @@ FIB_CFA = defConst("FIB", FIB)
 NUMFIB, NUMFIB_CFA = defNewVar("#FIB", 0)
 
 IB_CFA = defPrimWord("IB", () -> begin
-    pushPS(mem[SOURCE_ID] == 0 ? TIB : FIB)
+    pushPS(mem[SOURCE_ID_VAR] == 0 ? TIB : FIB)
     return NEXT
 end)
 
 NUMIB_CFA = defPrimWord("#IB", () -> begin
-    pushPS(mem[SOURCE_ID] == 0 ? NUMTIB : NUMFIB)
+    pushPS(mem[SOURCE_ID_VAR] == 0 ? NUMTIB : NUMFIB)
     return NEXT
 end)
 
 TOIN, TOIN_CFA = defNewVar(">IN", 0)
 
-SOURCE_ID, SOURCE_ID_CFA = defNewVar("SOURCE-ID", 0)
-
-SOURCE_CFA = defPrimWord("SOURCE", () -> begin
-    if mem[SOURCE_ID] == 0
-        pushPS(TIB)
-        pushPS(NUMTIB)
-    else
-        pushPS(FIB)
-        pushPS(NUMFIB)
-    end
-    return NEXT
-end)
+SOURCE_ID_VAR, SOURCE_ID_VAR_CFA = defNewVar("SOURCE-ID-VAR", 0)
 
 QUERY_CFA = defWord("QUERY",
     [TIB_CFA, LIT_CFA, 160, EXPECT_CFA,
@@ -999,11 +1009,13 @@ QUERY_CFA = defWord("QUERY",
     LIT_CFA, 0, TOIN_CFA, STORE_CFA,
     EXIT_CFA])
 
-# ( fid -- flag )
-# flag set to true if EOF is reached
+EOF_FLAG, EOF_FLAG_CFA = defNewVar("EOF-FLAG", 0)
+
+# ( fid -- )
+# EOF-FLAG set to true if EOF is reached
 QUERY_FILE_CFA = defWord("QUERY-FILE",
     [FIB_CFA, LIT_CFA, 160, ROT_CFA, READ_LINE_CFA,
-    DROP_CFA, SWAP_CFA,
+    DROP_CFA, EOF_FLAG_CFA, STORE_CFA,
     NUMFIB_CFA, STORE_CFA,
     LIT_CFA, 0, TOIN_CFA, STORE_CFA,
     EXIT_CFA])
@@ -1011,9 +1023,13 @@ QUERY_FILE_CFA = defWord("QUERY-FILE",
 WORD_CFA = defPrimWord("WORD", () -> begin
     delim = popPS()
 
-    callPrim(mem[SOURCE_CFA])
-    sizeAddr = popPS()
-    bufferAddr = popPS()
+    if mem[SOURCE_ID_VAR] == 0
+        bufferAddr = TIB
+        sizeAddr = NUMTIB
+    else
+        bufferAddr = FIB
+        sizeAddr = NUMFIB
+    end
 
     # Chew up initial occurrences of delim
     while (mem[TOIN]<mem[sizeAddr] && mem[bufferAddr+mem[TOIN]] == delim)
@@ -1041,7 +1057,7 @@ WORD_CFA = defPrimWord("WORD", () -> begin
     mem[countAddr] = count
     pushPS(countAddr)
 
-    println("Processing word: '$(getString(countAddr+1,mem[countAddr]))' (state $(mem[STATE]))")
+    #println("Processing word: '$(getString(countAddr+1,mem[countAddr]))' (state $(mem[STATE]))")
 
     return NEXT
 end)
@@ -1115,7 +1131,7 @@ end, flags=F_IMMED)
 
 HIDDEN_CFA = defPrimWord("HIDDEN", () -> begin
     lenAndFlagsAddr = mem[mem[CURRENT]+1] + 1
-    mem[lenAndFlagsAddr] = mem[lenAndFlagsAddr] $ F_HIDDEN
+    mem[lenAndFlagsAddr] = xor(mem[lenAndFlagsAddr], F_HIDDEN)
     return NEXT
 end)
 
@@ -1135,46 +1151,22 @@ SEMICOLON_CFA = defWord(";",
 
 IMMEDIATE_CFA = defPrimWord("IMMEDIATE", () -> begin
     lenAndFlagsAddr = mem[mem[CURRENT]+1] + 1
-    mem[lenAndFlagsAddr] = mem[lenAndFlagsAddr] $ F_IMMED
+    mem[lenAndFlagsAddr] = xor(mem[lenAndFlagsAddr],  F_IMMED)
     return NEXT
 end, flags=F_IMMED)
 
-CODE_CFA = defPrimWord("CODE", () -> begin
-    pushPS(32)
-    callPrim(mem[WORD_CFA])
-    callPrim(mem[HEADER_CFA])
-
-    exprString = "() -> begin\n"
-    while true
-        if mem[TOIN] >= mem[NUMTIB]
-            exprString = string(exprString, "\n")
-            if currentSource() == STDIN
-                println()
-            end
-
-            pushPS(TIB)
-            pushPS(160)
-            callPrim(mem[EXPECT_CFA])
-            mem[NUMTIB] = mem[SPAN]
-            mem[TOIN] = 0
-        end
-
-        pushPS(32)
-        callPrim(mem[WORD_CFA])
-        cAddr = popPS()
-        thisWord = getString(cAddr+1, mem[cAddr])
-
-        if uppercase(thisWord) == "END-CODE"
-            break
-        end
-
-        exprString = string(exprString, " ", thisWord)
-    end
-    exprString = string(exprString, "\nreturn NEXT\nend")
-
+# ( addr n -- primAddr )
+CREATE_PRIM_CFA = defPrimWord("CREATE-PRIM", () -> begin
+    len = popPS()
+    addr = popPS()
+    
+    exprString = string("() -> begin\n",
+                        getString(addr, len), "\n",
+                        "return NEXT\n",
+                        "end")
     func = eval(parse(exprString))
-    dictWrite(defPrim(func))
 
+    pushPS(defPrim(func))
     return NEXT
 end)
 
@@ -1228,7 +1220,7 @@ end)
 
 QUIT_CFA = defWord("QUIT",
     [LIT_CFA, 0, STATE_CFA, STORE_CFA,      # Set mode to interpret
-    LIT_CFA, 0, SOURCE_ID_CFA, STORE_CFA,   # Set terminal as input stream
+    LIT_CFA, 0, SOURCE_ID_VAR_CFA, STORE_CFA,   # Set terminal as input stream
     LIT_CFA, 0, NUMTIB_CFA, STORE_CFA,      # Clear the input buffer
     RSP0_CFA, RSPSTORE_CFA,                 # Clear the return stack
     QUERY_CFA,                              # Read line of input
@@ -1238,16 +1230,19 @@ QUIT_CFA = defWord("QUIT",
 INCLUDED_CFA = defWord("INCLUDED",
     [LIT_CFA, 0, STATE_CFA, STORE_CFA,          # Set mode to interpret
     FAM_RO_CFA, OPEN_FILE_CFA, DROP_CFA,        # Open the file
-    SOURCE_ID_CFA, FETCH_CFA, SWAP_CFA,         # Store current source on stack
-    SOURCE_ID_CFA, STORE_CFA,                   # Mark this as the current source
-    SOURCE_ID_CFA, FETCH_CFA, QUERY_FILE_CFA,   # Read line from file
+    SOURCE_ID_VAR_CFA, FETCH_CFA, SWAP_CFA,         # Store current source on stack
+    SOURCE_ID_VAR_CFA, STORE_CFA,                   # Mark this as the current source
+    SOURCE_ID_VAR_CFA, FETCH_CFA, QUERY_FILE_CFA,   # Read line from file
+    EOF_FLAG_CFA, FETCH_CFA,
     NUMFIB_CFA, FETCH_CFA, ZE_CFA, AND_CFA,     # Test for EOF and empty line
     INVERT_CFA, ZBRANCH_CFA, 4,                 # Break out if EOF
     INTERPRET_CFA,                              # Interpret line
-    BRANCH_CFA, -12,                            # Loop
-    SOURCE_ID_CFA, FETCH_CFA,
+    BRANCH_CFA, -14,                            # Loop
+    SOURCE_ID_VAR_CFA, FETCH_CFA,
     CLOSE_FILE_CFA, DROP_CFA,                   # Close file
-    SOURCE_ID_CFA, STORE_CFA,                   # Restore input source
+    SOURCE_ID_VAR_CFA, STORE_CFA,               # Restore input source
+    LIT_CFA, 0, NUMIB_CFA, STORE_CFA,           # Zero #IB
+    LIT_CFA, 0, TOIN_CFA, STORE_CFA,            # Zero >IN
     EXIT_CFA])
 
 INCLUDE_CFA = defWord("INCLUDE", [LIT_CFA, 32, WORD_CFA,
@@ -1255,12 +1250,13 @@ INCLUDE_CFA = defWord("INCLUDE", [LIT_CFA, 32, WORD_CFA,
     SWAP_CFA, FETCH_CFA,
     INCLUDED_CFA, EXIT_CFA]);
 
-
 ABORT_CFA = defWord("ABORT",
     [CLOSE_FILES_CFA, DROP_CFA, PSP0_CFA, PSPSTORE_CFA, QUIT_CFA])
 
 BYE_CFA = defPrimWord("BYE", () -> begin
-    println("\nBye!")
+    if mem[SOURCE_ID_VAR] == 0
+        println("\nBye!")
+    end
     return 0
 end)
 
@@ -1268,31 +1264,63 @@ EOF_CFA = defPrimWord("\x04", () -> begin
     return 0
 end)
 
+### Library loading ###
+
+oldCWD = ""
+SETLIBCWD_CFA = defPrimWord("SETLIBCWD", () -> begin
+    global oldCWD = pwd()
+    if !isfile("lib.4th") # Exception for debugging.
+        cd(Pkg.dir("forth","src"))
+    end
+    return NEXT
+end)
+
+RESTORECWD_CFA = defPrimWord("RESTORECWD", () -> begin
+    cd(oldCWD)
+    return NEXT
+end)
+
+INCLUDED_LIB_CFA = defWord("INCLUDED-LIB",
+    [SETLIBCWD_CFA, INCLUDED_CFA, RESTORECWD_CFA, EXIT_CFA])
+
+INCLUDE_LIB_CFA = defWord("INCLUDE-LIB", [LIT_CFA, 32, WORD_CFA,
+    DUP_CFA, INCR_CFA,
+    SWAP_CFA, FETCH_CFA,
+    INCLUDED_LIB_CFA, EXIT_CFA]);
+
+SKIP_WELCOME, SKIP_WELCOME_CFA = defNewVar("SKIP-WELCOME", 0)
+
 #### VM loop ####
 
 initialized = false
-initFileName = nothing
-if isfile("lib.4th")
-    initFileName = "lib.4th"
-elseif isfile(Pkg.dir("forth","src", "lib.4th"))
-    initFileName = Pkg.dir("forth","src","lib.4th")
-end
+libFileName = "lib.4th"
 
-function run(;initialize=true)
+function run(fileName=nothing; initialize=true)
 
     # Start with IP pointing to first instruction of outer interpreter
     pushRS(QUIT_CFA+1)
 
+    # Include optional file
+    if fileName != nothing
+        putString(fileName, mem[H])
+        pushPS(mem[H])
+        mem[H] += length(fileName)
+        pushPS(length(fileName))
+        pushRS(INCLUDED_CFA+1)
+
+        mem[SKIP_WELCOME] = -1
+    end
+
     # Load library files
-    global initialized, initFileName
+    global initialized, libFileName
     if !initialized && initialize
-        if initFileName != nothing
-            print("Including definitions from $initFileName...")
+        if libFileName != nothing
+            #print("Including definitions from $libFileName...")
 
-            putString(initFileName, mem[H])
+            putString(libFileName, mem[H])
             pushPS(mem[H])
-            pushPS(length(initFileName))
-            pushRS(INCLUDED_CFA+1)
+            pushPS(length(libFileName))
+            pushRS(INCLUDED_LIB_CFA+1)
 
             initialized = true
         else
@@ -1312,7 +1340,8 @@ function run(;initialize=true)
             jmp = callPrim(jmp)
 
         catch ex
-            showerror(STDOUT, ex)
+            println(string("Error in primitive '", getPrimName(jmp), "' at address ", jmp))
+            showerror(stdout, ex)
             println()
 
             # QUIT
@@ -1335,7 +1364,7 @@ TRACE_CFA = defPrimWord("TRACE", () -> begin
 end)
 
 function dump(startAddr::Int64; count::Int64 = 100, cellsPerLine::Int64 = 10)
-    chars = Array{Char,1}(cellsPerLine)
+    chars = Array{Char,1}(undef, cellsPerLine)
 
     lineStartAddr = cellsPerLine*div((startAddr-1),cellsPerLine) + 1
     endAddr = startAddr + count - 1
@@ -1363,7 +1392,7 @@ function dump(startAddr::Int64; count::Int64 = 100, cellsPerLine::Int64 = 10)
             i += 1
         end
 
-        println("\t", AbstractString(chars))
+        println("\t", String(chars))
     end
 end