Ammended tab handling.
[forth.jl.git] / src / forth.jl
1 module forth
2
3 # VM mem size
4 size_mem = 1000000 # 1 mega-int
5
6 # Buffer sizes
7 size_RS = 1000   # Return stack size
8 size_PS = 1000   # Parameter stack size
9 size_TIB = 1000  # Terminal input buffer size
10
11 # Memory arrays
12 mem = Array{Int64,1}(size_mem)
13 primitives = Array{Function,1}()
14 primNames = Array{ASCIIString,1}()
15
16 # Memory geography and built-in variables
17
18 nextVarAddr = 1
19 H = nextVarAddr; nextVarAddr += 1              # Next free memory address
20 FORTH_LATEST = nextVarAddr; nextVarAddr += 1   # FORTH dict latest
21 CURRENT = nextVarAddr; nextVarAddr += 1        # Current compilation dict
22
23 RSP0 = nextVarAddr                  # bottom of RS
24 PSP0 = RSP0 + size_RS               # bottom of PS
25 TIB = PSP0 + size_PS                # address of terminal input buffer
26 mem[H] = TIB + size_TIB             # location of bottom of dictionary
27 mem[FORTH_LATEST] = 0               # zero FORTH dict latest (no previous def)
28 mem[CURRENT] = FORTH_LATEST-1       # Compile words to system dict initially
29
30 DICT = mem[H] # Save bottom of dictionary as constant
31
32 # VM registers
33 type Reg
34     RSP::Int64  # Return stack pointer
35     PSP::Int64  # Parameter/data stack pointer
36     IP::Int64   # Instruction pointer
37     W::Int64    # Working register
38 end
39 reg = Reg(RSP0, PSP0, 0, 0)
40
41 # Stack manipulation functions
42
43 function ensurePSDepth(depth::Int64)
44     if reg.PSP - PSP0 < depth
45         error("Parameter stack underflow.")
46     end
47 end
48
49 function ensureRSDepth(depth::Int64)
50     if reg.RSP - RSP0 < depth
51         error("Return stack underflow.")
52     end
53 end
54
55 function pushRS(val::Int64)
56     mem[reg.RSP+=1] = val
57 end
58
59 function popRS()
60     ensureRSDepth(1)
61
62     val = mem[reg.RSP]
63     reg.RSP -= 1
64     return val
65 end
66
67 function pushPS(val::Int64)
68     mem[reg.PSP += 1] = val
69 end
70
71 function popPS()
72     ensurePSDepth(1)
73
74     val = mem[reg.PSP]
75     reg.PSP -= 1
76     return val
77 end
78
79 # Handy functions for adding/retrieving strings to/from memory.
80
81 getString(addr::Int64, len::Int64) = ASCIIString([Char(c) for c in mem[addr:(addr+len-1)]])
82
83 function putString(str::ASCIIString, addr::Int64)
84     mem[addr:(addr+length(str)-1)] = [Int64(c) for c in str]
85 end
86
87 stringAsInts(str::ASCIIString) = [Int(c) for c in collect(str)]
88
89 # Primitive creation and calling functions
90
91 function defPrim(f::Function; name="nameless")
92     push!(primitives, f)
93     push!(primNames, replace(name, "\004", "EOF"))
94
95     return -length(primitives)
96 end
97
98 function callPrim(addr::Int64)
99     if addr >=0 || -addr>length(primitives)
100         error("Attempted to execute non-existent primitive at address $addr.")
101     else
102         primitives[-addr]()
103     end
104 end
105 getPrimName(addr::Int64) = primNames[-addr]
106
107 # Word creation functions
108
109 F_LENMASK = 31
110 F_IMMED = 32
111 F_HIDDEN = 64
112 NFA_MARK = 128
113
114 function dictWrite(ints::Array{Int64,1})
115     mem[mem[H]:(mem[H]+length(ints)-1)] = ints
116     mem[H] += length(ints)
117 end
118 dictWrite(int::Int64) = dictWrite([int])
119 dictWriteString(string::ASCIIString) = dictWrite([Int64(c) for c in string])
120
121 function createHeader(name::AbstractString, flags::Int64)
122     mem[mem[H]] = mem[mem[CURRENT]+1]
123     mem[mem[CURRENT]+1] = mem[H]
124     mem[H] += 1
125
126     dictWrite(length(name) | flags | NFA_MARK)
127     dictWriteString(name)
128 end
129
130 function defPrimWord(name::AbstractString, f::Function; flags::Int64=0)
131     createHeader(name, flags)
132
133     codeWordAddr = mem[H]
134     dictWrite(defPrim(f, name=name))
135
136     return codeWordAddr
137 end
138
139 function defWord(name::AbstractString, wordAddrs::Array{Int64,1}; flags::Int64=0)
140     createHeader(name, flags)
141
142     addr = mem[H]
143     dictWrite(DOCOL)
144
145     dictWrite(wordAddrs)
146
147     return addr
148 end
149
150 # Variable creation functions
151
152 function defExistingVar(name::AbstractString, varAddr::Int64; flags::Int64=0)
153
154     defPrimWord(name, eval(:(() -> begin
155         pushPS($(varAddr))
156         return NEXT
157     end)))
158 end
159
160 function defNewVar(name::AbstractString, initial::Array{Int64,1}; flags::Int64=0)
161     createHeader(name, flags)
162     
163     codeWordAddr = mem[H]
164     varAddr = mem[H] + 1
165
166     dictWrite(DOVAR)
167     dictWrite(initial)
168
169     return varAddr, codeWordAddr
170 end
171
172 defNewVar(name::AbstractString, initial::Int64; flags::Int64=0) =
173     defNewVar(name, [initial]; flags=flags)
174
175 function defConst(name::AbstractString, val::Int64; flags::Int64=0)
176     createHeader(name, flags)
177
178     codeWordAddr = mem[H]
179
180     dictWrite(DOCON)
181     dictWrite(val)
182
183     return codeWordAddr
184 end
185
186 # Threading Primitives (inner interpreter)
187
188 NEXT = defPrim(() -> begin
189     reg.W = mem[reg.IP]
190     reg.IP += 1
191     return mem[reg.W]
192 end, name="NEXT")
193
194 DOCOL = defPrim(() -> begin
195     pushRS(reg.IP)
196     reg.IP = reg.W + 1
197     return NEXT
198 end, name="DOCOL")
199
200 DOVAR = defPrim(() -> begin
201     pushPS(reg.W + 1)
202     return NEXT
203 end, name="DOVAR")
204
205 DOCON = defPrim(() -> begin
206     pushPS(mem[reg.W + 1])
207     return NEXT
208 end, name="DOVAR")
209
210 EXIT_CFA = defPrimWord("EXIT", () -> begin
211     reg.IP = popRS()
212     return NEXT
213 end)
214
215 # Dictionary entries for core built-in variables, constants
216
217 H_CFA = defExistingVar("H", H)
218
219 PSP0_CFA = defConst("PSP0", PSP0)
220 RSP0_CFA = defConst("RSP0", RSP0)
221
222 defConst("DOCOL", DOCOL)
223 defConst("DOCON", DOCON)
224 defConst("DOVAR", DOVAR)
225
226 defConst("DICT", DICT)
227 defConst("MEMSIZE", size_mem)
228
229 F_IMMED_CFA = defConst("F_IMMED", F_IMMED)
230 F_HIDDEN_CFA = defConst("F_HIDDEN", F_HIDDEN)
231 F_LENMASK_CFA = defConst("F_LENMASK", F_LENMASK)
232 NFA_MARK_CFA = defConst("NFA_MARK", NFA_MARK)
233
234 # Basic forth primitives
235
236 DROP_CFA = defPrimWord("DROP", () -> begin
237     popPS()
238     return NEXT
239 end)
240
241 SWAP_CFA = defPrimWord("SWAP", () -> begin
242     a = popPS()
243     b = popPS()
244     pushPS(a)
245     pushPS(b)
246     return NEXT
247 end)
248
249 DUP_CFA = defPrimWord("DUP", () -> begin
250     ensurePSDepth(1)
251     pushPS(mem[reg.PSP])
252     return NEXT
253 end)
254
255 OVER_CFA = defPrimWord("OVER", () -> begin
256     ensurePSDepth(2)
257     pushPS(mem[reg.PSP-1])
258     return NEXT
259 end)
260
261 ROT_CFA = defPrimWord("ROT", () -> begin
262     a = popPS()
263     b = popPS()
264     c = popPS()
265     pushPS(b)
266     pushPS(a)
267     pushPS(c)
268     return NEXT
269 end)
270
271 NROT_CFA = defPrimWord("-ROT", () -> begin
272     a = popPS()
273     b = popPS()
274     c = popPS()
275     pushPS(a)
276     pushPS(c)
277     pushPS(b)
278     return NEXT
279 end)
280
281
282 TWODROP_CFA = defPrimWord("2DROP", () -> begin
283     popPS()
284     popPS()
285     return NEXT
286 end)
287
288 TWODUP_CFA = defPrimWord("2DUP", () -> begin
289     ensurePSDepth(2)
290     a = mem[reg.PSP-1]
291     b = mem[reg.PSP]
292     pushPS(a)
293     pushPS(b)
294     return NEXT
295 end)
296
297 TWOSWAP_CFA = defPrimWord("2SWAP", () -> begin
298     a = popPS()
299     b = popPS()
300     c = popPS()
301     d = popPS()
302     pushPS(b)
303     pushPS(a)
304     pushPS(d)
305     pushPS(c)
306     return NEXT
307 end)
308
309 TWOOVER_CFA = defPrimWord("2OVER", () -> begin
310     ensurePSDepth(4)
311     a = mem[reg.PSP-3]
312     b = mem[reg.PSP-2]
313     pushPS(a)
314     pushPS(b)
315     return NEXT
316 end)
317
318 QDUP_CFA = defPrimWord("?DUP", () -> begin
319     ensurePSDepth(1)
320     val = mem[reg.PSP]
321     if val != 0
322         pushPS(val)
323     end
324     return NEXT
325 end)
326
327 INCR_CFA = defPrimWord("1+", () -> begin
328     ensurePSDepth(1)
329     mem[reg.PSP] += 1
330     return NEXT
331 end)
332
333 DECR_CFA = defPrimWord("1-", () -> begin
334     ensurePSDepth(1)
335     mem[reg.PSP] -= 1
336     return NEXT
337 end)
338
339 INCR2_CFA = defPrimWord("2+", () -> begin
340     ensurePSDepth(1)
341     mem[reg.PSP] += 2
342     return NEXT
343 end)
344
345 DECR2_CFA = defPrimWord("2-", () -> begin
346     ensurePSDepth(1)
347     mem[reg.PSP] -= 2
348     return NEXT
349 end)
350
351 ADD_CFA = defPrimWord("+", () -> begin
352     b = popPS()
353     a = popPS()
354     pushPS(a+b)
355     return NEXT
356 end)
357
358 SUB_CFA = defPrimWord("-", () -> begin
359     b = popPS()
360     a = popPS()
361     pushPS(a-b)
362     return NEXT
363 end)
364
365 MUL_CFA = defPrimWord("*", () -> begin
366     b = popPS()
367     a = popPS()
368     pushPS(a*b)
369     return NEXT
370 end)
371
372 DIVMOD_CFA = defPrimWord("/MOD", () -> begin
373     b = popPS()
374     a = popPS()
375     q,r = divrem(a,b)
376     pushPS(r)
377     pushPS(q)
378     return NEXT
379 end)
380
381 TWOMUL_CFA = defPrimWord("2*", () -> begin
382     pushPS(popPS() << 1)
383     return NEXT
384 end)
385
386 TWODIV_CFA = defPrimWord("2/", () -> begin
387     pushPS(popPS() >> 1)
388     return NEXT
389 end)
390
391 EQ_CFA = defPrimWord("=", () -> begin
392     b = popPS()
393     a = popPS()
394     pushPS(a==b ? -1 : 0)
395     return NEXT
396 end)
397
398 NE_CFA = defPrimWord("<>", () -> begin
399     b = popPS()
400     a = popPS()
401     pushPS(a!=b ? -1 : 0)
402     return NEXT
403 end)
404
405 LT_CFA = defPrimWord("<", () -> begin
406     b = popPS()
407     a = popPS()
408     pushPS(a<b ? -1 : 0)
409     return NEXT
410 end)
411
412 GT_CFA = defPrimWord(">", () -> begin
413     b = popPS()
414     a = popPS()
415     pushPS(a>b ? -1 : 0)
416     return NEXT
417 end)
418
419 LE_CFA = defPrimWord("<=", () -> begin
420     b = popPS()
421     a = popPS()
422     pushPS(a<=b ? -1 : 0)
423     return NEXT
424 end)
425
426 GE_CFA = defPrimWord(">=", () -> begin
427     b = popPS()
428     a = popPS()
429     pushPS(a>=b ? -1 : 0)
430     return NEXT
431 end)
432
433 ZE_CFA = defPrimWord("0=", () -> begin
434     pushPS(popPS() == 0 ? -1 : 0)
435     return NEXT
436 end)
437
438 ZNE_CFA = defPrimWord("0<>", () -> begin
439     pushPS(popPS() != 0 ? -1 : 0)
440     return NEXT
441 end)
442
443 ZLT_CFA = defPrimWord("0<", () -> begin
444     pushPS(popPS() < 0 ? -1 : 0)
445     return NEXT
446 end)
447
448 ZGT_CFA = defPrimWord("0>", () -> begin
449     pushPS(popPS() > 0 ? -1 : 0)
450     return NEXT
451 end)
452
453 ZLE_CFA = defPrimWord("0<=", () -> begin
454     pushPS(popPS() <= 0 ? -1 : 0)
455     return NEXT
456 end)
457
458 ZGE_CFA = defPrimWord("0>=", () -> begin
459     pushPS(popPS() >= 0 ? -1 : 0)
460     return NEXT
461 end)
462
463 AND_CFA = defPrimWord("AND", () -> begin
464     b = popPS()
465     a = popPS()
466     pushPS(a & b)
467     return NEXT
468 end)
469
470 OR_CFA = defPrimWord("OR", () -> begin
471     b = popPS()
472     a = popPS()
473     pushPS(a | b)
474     return NEXT
475 end)
476
477 XOR_CFA = defPrimWord("XOR", () -> begin
478     b = popPS()
479     a = popPS()
480     pushPS(a $ b)
481     return NEXT
482 end)
483
484 INVERT_CFA = defPrimWord("INVERT", () -> begin
485     pushPS(~popPS())
486     return NEXT
487 end)
488
489 # Literals
490
491 LIT_CFA = defPrimWord("LIT", () -> begin
492     pushPS(mem[reg.IP])
493     reg.IP += 1
494     return NEXT
495 end)
496
497 # Memory primitives
498
499 STORE_CFA = defPrimWord("!", () -> begin
500     addr = popPS()
501     dat = popPS()
502     mem[addr] = dat
503     return NEXT
504 end)
505
506 FETCH_CFA = defPrimWord("@", () -> begin
507     addr = popPS()
508     pushPS(mem[addr])
509     return NEXT
510 end)
511
512 ADDSTORE_CFA = defPrimWord("+!", () -> begin
513     addr = popPS()
514     toAdd = popPS()
515     mem[addr] += toAdd
516     return NEXT
517 end)
518
519 SUBSTORE_CFA = defPrimWord("-!", () -> begin
520     addr = popPS()
521     toSub = popPS()
522     mem[addr] -= toSub
523     return NEXT
524 end)
525
526
527 # Return Stack
528
529 TOR_CFA = defPrimWord(">R", () -> begin
530     pushRS(popPS())
531     return NEXT
532 end)
533
534 FROMR_CFA = defPrimWord("R>", () -> begin
535     pushPS(popRS())
536     return NEXT
537 end)
538
539 RFETCH_CFA = defPrimWord("R@", () -> begin
540     pushPS(mem[reg.RSP])
541     return NEXT
542 end)
543
544 RSPFETCH_CFA = defPrimWord("RSP@", () -> begin
545     pushPS(reg.RSP)
546     return NEXT
547 end)
548
549 RSPSTORE_CFA = defPrimWord("RSP!", () -> begin
550     reg.RSP = popPS()
551     return NEXT
552 end)
553
554 RDROP_CFA = defPrimWord("RDROP", () -> begin
555     popRS()
556     return NEXT
557 end)
558
559 # Parameter Stack
560
561 PSPFETCH_CFA = defPrimWord("PSP@", () -> begin
562     pushPS(reg.PSP)
563     return NEXT
564 end)
565
566 PSPSTORE_CFA = defPrimWord("PSP!", () -> begin
567     reg.PSP = popPS()
568     return NEXT
569 end)
570
571 # Working Register
572
573 WFETCH_CFA = defPrimWord("W@", () -> begin
574     pushPS(reg.W)
575     return NEXT
576 end)
577
578 WSTORE_CFA = defPrimWord("W!", () -> begin
579     reg.W = popPS()
580     return NEXT
581 end)
582
583 # I/O
584
585 sources = Array{Any,1}()
586 currentSource() = sources[length(sources)]
587
588 CLOSEFILES_CFA = defPrimWord("CLOSEFILES", () -> begin
589     while currentSource() != STDIN
590         close(pop!(sources))
591     end
592
593     return NEXT
594 end)
595
596 EOF_CFA = defPrimWord("\x04", () -> begin
597     if currentSource() != STDIN
598         close(pop!(sources))
599         return NEXT
600     else
601         return 0
602     end
603 end)
604
605 EMIT_CFA = defPrimWord("EMIT", () -> begin
606     print(Char(popPS()))
607     return NEXT
608 end)
609
610 function raw_mode!(mode::Bool)
611     if ccall(:jl_tty_set_mode, Int32, (Ptr{Void}, Int32), STDIN.handle, mode) != 0
612         throw("FATAL: Terminal unable to enter raw mode.")
613     end
614 end
615
616 function getKey()
617     raw_mode!(true)
618     byte = readbytes(STDIN, 1)[1]
619     raw_mode!(false)
620
621     if byte == 0x0d
622         return 0x0a
623     elseif byte == 127
624         return 0x08
625     else
626         return byte
627     end
628 end
629
630 KEY_CFA = defPrimWord("KEY", () -> begin
631     pushPS(Int(getKey()))
632     return NEXT
633 end)
634
635 function getLineFromSTDIN()
636     line = ""
637     while true
638         key = Char(getKey())
639
640         if key == '\n'
641             print(" ")
642             return ASCIIString(line)
643
644         elseif key == '\x04'
645             if isempty(line)
646                 return string("\x04")
647             end
648
649         elseif key == '\b'
650             if !isempty(line)
651                 print("\b\033[K")
652                 line = line[1:length(line)-1]
653             end
654
655         elseif key == '\e'
656             # Strip ANSI escape sequence
657             nextKey = Char(getKey())
658             if nextKey == '['
659                 while true
660                     nextKey = Char(getKey())
661                     if nextKey >= '@' || nextKey <= '~'
662                         break
663                     end
664                 end
665             end
666
667         elseif key == '\t'
668             # Currently do nothing
669
670         else
671             print(key)
672             line = string(line, key)
673         end
674     end
675 end
676
677 SPAN, SPAN_CFA = defNewVar("SPAN", 0)
678 EXPECT_CFA = defPrimWord("EXPECT", () -> begin
679     maxLen = popPS()
680     addr = popPS()
681
682     if currentSource() == STDIN
683         line = getLineFromSTDIN()
684     else
685         if !eof(currentSource())
686             line = chomp(readline(currentSource()))
687         else
688             line = "\x04" # eof
689         end
690     end
691
692     mem[SPAN] = min(length(line), maxLen)
693     putString(line[1:mem[SPAN]], addr)
694
695     return NEXT
696 end)
697
698 BASE, BASE_CFA = defNewVar("BASE", 10)
699 NUMBER_CFA = defPrimWord("NUMBER", () -> begin
700     wordAddr = popPS()+1
701     wordLen = mem[wordAddr-1]
702
703     s = getString(wordAddr, wordLen)
704
705     pushPS(parse(Int64, s, mem[BASE]))
706
707     return NEXT
708 end)
709
710 # Dictionary searches
711
712 FROMLINK_CFA = defPrimWord("LINK>", () -> begin
713
714     addr = popPS()
715     lenAndFlags = mem[addr+1]
716     len = lenAndFlags & F_LENMASK
717
718     pushPS(addr + 2 + len)
719
720     return NEXT
721 end)
722
723 NUMCONTEXT, NUMCONTEXT_CFA = defNewVar("#CONTEXT", 1)
724
725 createHeader("FORTH", 0)
726 FORTH_CFA = mem[H]
727 dictWrite(defPrim(() -> begin
728     mem[CONTEXT + mem[NUMCONTEXT] - 1] = reg.W
729     return NEXT
730 end, name="FORTH"))
731 dictWrite(0) # cell for latest
732
733 CURRENT_CFA = defExistingVar("CURRENT", CURRENT)
734
735 # Switch to new FORTH vocabulary cfa
736 mem[FORTH_CFA+1] = mem[mem[CURRENT]+1]
737 mem[CURRENT] = FORTH_CFA
738
739 CONTEXT, CONTEXT_CFA = defNewVar("CONTEXT", zeros(Int64, 10))
740 mem[CONTEXT] = FORTH_CFA
741
742 FINDVOCAB_CFA = defPrimWord("FINDVOCAB", () -> begin
743     vocabCFA = popPS()
744     countedAddr = popPS()
745
746     wordAddr = countedAddr + 1
747     wordLen = mem[countedAddr]
748     word = lowercase(getString(wordAddr, wordLen))
749
750     lfa = vocabCFA+1
751     lenAndFlags = 0
752
753     while (lfa = mem[lfa]) > 0
754
755         lenAndFlags = mem[lfa+1]
756         len = lenAndFlags & F_LENMASK
757         hidden = (lenAndFlags & F_HIDDEN) == F_HIDDEN
758
759         if hidden || len != wordLen
760             continue
761         end
762
763         thisWord = lowercase(getString(lfa+2, len))
764
765         if thisWord == word
766             break
767         end
768     end
769
770     if lfa > 0
771         pushPS(lfa)
772         callPrim(mem[FROMLINK_CFA])
773         if (lenAndFlags & F_IMMED) == F_IMMED
774             pushPS(1)
775         else
776             pushPS(-1)
777         end
778     else
779         pushPS(countedAddr)
780         pushPS(0)
781     end
782
783     return NEXT
784 end)
785
786 FIND_CFA = defPrimWord("FIND", () -> begin
787
788     countedAddr = popPS()
789     context = mem[CONTEXT:(CONTEXT+mem[NUMCONTEXT]-1)]
790
791     for vocabCFA in reverse(context)
792         pushPS(countedAddr)
793         pushPS(vocabCFA)
794         callPrim(mem[FINDVOCAB_CFA])
795
796         callPrim(mem[DUP_CFA])
797         if popPS() != 0
798             return NEXT
799         else
800             popPS()
801             popPS()
802         end
803     end
804
805     pushPS(countedAddr)
806     pushPS(0)
807
808     return NEXT
809 end)
810
811
812 # Branching
813
814 BRANCH_CFA = defPrimWord("BRANCH", () -> begin
815     reg.IP += mem[reg.IP]
816     return NEXT
817 end)
818
819 ZBRANCH_CFA = defPrimWord("0BRANCH", () -> begin
820     if (popPS() == 0)
821         reg.IP += mem[reg.IP]
822     else
823         reg.IP += 1
824     end
825
826     return NEXT
827 end)
828
829 # Strings
830
831 LITSTRING_CFA = defPrimWord("LITSTRING", () -> begin
832     len = mem[reg.IP]
833     reg.IP += 1
834     pushPS(reg.IP)
835     pushPS(len)
836     reg.IP += len
837
838     return NEXT
839 end)
840
841 TYPE_CFA = defPrimWord("TYPE", () -> begin
842     len = popPS()
843     addr = popPS()
844     str = getString(addr, len)
845     print(str)
846     return NEXT
847 end)
848
849 # Interpreter/Compiler-specific I/O
850
851 TIB_CFA = defConst("TIB", TIB)
852 NUMTIB, NUMTIB_CFA = defNewVar("#TIB", 0)
853 TOIN, TOIN_CFA = defNewVar(">IN", 0)
854
855 QUERY_CFA = defWord("QUERY",
856     [TIB_CFA, LIT_CFA, 160, EXPECT_CFA,
857     SPAN_CFA, FETCH_CFA, NUMTIB_CFA, STORE_CFA,
858     LIT_CFA, 0, TOIN_CFA, STORE_CFA,
859     EXIT_CFA])
860
861 WORD_CFA = defPrimWord("WORD", () -> begin
862     delim = popPS()
863
864     # Chew up initial occurrences of delim
865     while (mem[TOIN]<mem[NUMTIB] && mem[TIB+mem[TOIN]] == delim)
866         mem[TOIN] += 1
867     end
868
869     countAddr = mem[H]
870     addr = mem[H]+1
871
872     # Start reading in word
873     count = 0
874     while (mem[TOIN]<mem[NUMTIB])
875         mem[addr] = mem[TIB+mem[TOIN]]
876         mem[TOIN] += 1
877
878         if (mem[addr] == delim)
879             break
880         end
881
882         count += 1
883         addr += 1
884     end
885
886     # Record count
887     mem[countAddr] = count
888     pushPS(countAddr)
889
890     return NEXT
891 end)
892
893 # Compilation
894
895 STATE, STATE_CFA = defNewVar("STATE", 0)
896
897 COMMA_CFA = defPrimWord(",", () -> begin
898     mem[mem[H]] = popPS()
899     mem[H] += 1
900
901     return NEXT
902 end)
903
904 HERE_CFA = defWord("HERE",
905     [H_CFA, FETCH_CFA, EXIT_CFA])
906
907 HEADER_CFA = defPrimWord("HEADER", () -> begin
908     wordAddr = popPS()+1
909     wordLen = mem[wordAddr-1]
910     word = getString(wordAddr, wordLen)
911
912     createHeader(word, 0)
913
914     return NEXT
915 end)
916
917 CREATE_CFA = defWord("CREATE",
918     [LIT_CFA, 32, WORD_CFA, HEADER_CFA,
919     LIT_CFA, DOVAR, COMMA_CFA,
920     EXIT_CFA])
921
922 DODOES = defPrim(() -> begin
923     pushRS(reg.IP)
924     reg.IP = popPS()
925     pushPS(reg.W + 1)
926     return NEXT
927 end, name="DODOES")
928
929 DOES_HELPER_CFA = defPrimWord("(DOES>)", () -> begin
930
931     pushPS(mem[mem[CURRENT]+1])
932     callPrim(mem[FROMLINK_CFA])
933     cfa = popPS()
934
935     runtimeAddr = popPS()
936
937     mem[cfa] = defPrim(eval(:(() -> begin
938         pushPS($(runtimeAddr))
939         return DODOES
940     end)), name="doesPrim")
941
942     return NEXT
943 end, flags=F_IMMED | F_HIDDEN)
944
945 DOES_CFA = defWord("DOES>",
946     [LIT_CFA, LIT_CFA, COMMA_CFA, HERE_CFA, LIT_CFA, 3, ADD_CFA, COMMA_CFA,
947     LIT_CFA, DOES_HELPER_CFA, COMMA_CFA, LIT_CFA, EXIT_CFA, COMMA_CFA, EXIT_CFA],
948     flags=F_IMMED)
949
950 LBRAC_CFA = defPrimWord("[", () -> begin
951     mem[STATE] = 0
952     return NEXT
953 end, flags=F_IMMED)
954
955 RBRAC_CFA = defPrimWord("]", () -> begin
956     mem[STATE] = 1
957     return NEXT
958 end, flags=F_IMMED)
959
960 HIDDEN_CFA = defPrimWord("HIDDEN", () -> begin
961     lenAndFlagsAddr = mem[mem[CURRENT]+1] + 1
962     mem[lenAndFlagsAddr] = mem[lenAndFlagsAddr] $ F_HIDDEN
963     return NEXT
964 end)
965
966 COLON_CFA = defWord(":",
967     [LIT_CFA, 32, WORD_CFA,
968     HEADER_CFA,
969     LIT_CFA, DOCOL, COMMA_CFA,
970     HIDDEN_CFA,
971     RBRAC_CFA,
972     EXIT_CFA])
973
974 SEMICOLON_CFA = defWord(";",
975     [LIT_CFA, EXIT_CFA, COMMA_CFA,
976     HIDDEN_CFA,
977     LBRAC_CFA,
978     EXIT_CFA], flags=F_IMMED)
979
980 IMMEDIATE_CFA = defPrimWord("IMMEDIATE", () -> begin
981     lenAndFlagsAddr = mem[mem[CURRENT]+1] + 1
982     mem[lenAndFlagsAddr] = mem[lenAndFlagsAddr] $ F_IMMED
983     return NEXT
984 end, flags=F_IMMED)
985
986 # Outer Interpreter
987
988 EXECUTE_CFA = defPrimWord("EXECUTE", () -> begin
989     reg.W = popPS()
990     return mem[reg.W]
991 end)
992
993 INTERPRET_CFA = defWord("INTERPRET",
994     [LIT_CFA, 32, WORD_CFA, # Read next space-delimited word
995
996     DUP_CFA, FETCH_CFA, ZE_CFA, ZBRANCH_CFA, 3,
997         DROP_CFA, EXIT_CFA, # Exit if TIB is exhausted
998
999     STATE_CFA, FETCH_CFA, ZBRANCH_CFA, 24,
1000         # Compiling
1001         FIND_CFA, QDUP_CFA, ZBRANCH_CFA, 13,
1002
1003             # Found word. 
1004             LIT_CFA, -1, EQ_CFA, INVERT_CFA, ZBRANCH_CFA, 4,
1005
1006                 # Immediate: Execute!
1007                 EXECUTE_CFA, BRANCH_CFA, -26,
1008
1009                 # Not immediate: Compile!
1010                 COMMA_CFA, BRANCH_CFA, -29,
1011
1012             # No word found, parse number
1013             NUMBER_CFA, LIT_CFA, LIT_CFA, COMMA_CFA, COMMA_CFA, BRANCH_CFA, -36,
1014         
1015        # Interpreting
1016         FIND_CFA, QDUP_CFA, ZBRANCH_CFA, 5,
1017
1018             # Found word. Execute!
1019             DROP_CFA, EXECUTE_CFA, BRANCH_CFA, -44,
1020
1021             # No word found, parse number and leave on stack
1022             NUMBER_CFA, BRANCH_CFA, -47,
1023     EXIT_CFA])
1024
1025 PROMPT_CFA = defPrimWord("PROMPT", () -> begin
1026     if currentSource() == STDIN
1027         if mem[STATE] == 0
1028             print(" ok")
1029         end
1030         println()
1031     end
1032
1033     return NEXT
1034 end)
1035
1036 QUIT_CFA = defWord("QUIT",
1037     [LIT_CFA, 0, STATE_CFA, STORE_CFA,
1038     LIT_CFA, 0, NUMTIB_CFA, STORE_CFA,
1039     RSP0_CFA, RSPSTORE_CFA,
1040     QUERY_CFA,
1041     INTERPRET_CFA, PROMPT_CFA,
1042     BRANCH_CFA,-4])
1043
1044 ABORT_CFA = defWord("ABORT",
1045     [CLOSEFILES_CFA, PSP0_CFA, PSPSTORE_CFA, QUIT_CFA])
1046
1047 BYE_CFA = defPrimWord("BYE", () -> begin
1048     println("\nBye!")
1049     return 0
1050 end)
1051
1052 # File I/O
1053
1054 INCLUDE_CFA = defPrimWord("INCLUDE", () -> begin
1055     pushPS(32)
1056     callPrim(mem[WORD_CFA])
1057     wordAddr = popPS()+1
1058     wordLen = mem[wordAddr-1]
1059     word = getString(wordAddr, wordLen)
1060
1061     fname = word
1062     if !isfile(fname)
1063         fname = Pkg.dir("forth","src",word)
1064         if !isfile(fname)
1065             error("No file named $word found in current directory or package source directory.")
1066         end
1067     end
1068     push!(sources, open(fname, "r"))
1069
1070     # Clear input buffer
1071     mem[NUMTIB] = 0
1072
1073     return NEXT
1074 end)
1075
1076
1077 #### VM loop ####
1078
1079 initialized = false
1080 initFileName = nothing
1081 if isfile("lib.4th")
1082     initFileName = "lib.4th"
1083 elseif isfile(Pkg.dir("forth","src", "lib.4th"))
1084     initFileName = Pkg.dir("forth","src","lib.4th")
1085 end
1086
1087 function run(;initialize=true)
1088     # Begin with STDIN as source
1089     push!(sources, STDIN)
1090
1091     global initialized, initFileName
1092     if !initialized && initialize
1093         if initFileName != nothing
1094             print("Including definitions from $initFileName...")
1095             push!(sources, open(initFileName, "r"))
1096             initialized = true
1097         else
1098             println("No library file found. Only primitive words available.")
1099         end
1100     end
1101
1102     # Start with IP pointing to first instruction of outer interpreter
1103     reg.IP = QUIT_CFA + 1
1104
1105     # Primitive processing loop.
1106     # Everyting else is simply a consequence of this loop!
1107     jmp = NEXT
1108     while jmp != 0
1109         try
1110             #println("Entering prim $(getPrimName(jmp))")
1111             jmp = callPrim(jmp)
1112
1113         catch ex
1114             showerror(STDOUT, ex)
1115             println()
1116
1117             while !isempty(sources) && currentSource() != STDIN
1118                 close(pop!(sources))
1119             end
1120
1121             # QUIT
1122             reg.IP = ABORT_CFA + 1
1123             jmp = NEXT
1124         end
1125     end
1126 end
1127
1128 # Debugging tools
1129
1130 TRACE_CFA = defPrimWord("TRACE", () -> begin
1131     println("reg.W: $(reg.W) reg.IP: $(reg.IP)")
1132     print("PS: "); printPS()
1133     print("RS: "); printRS()
1134     print("[paused]")
1135     readline()
1136
1137     return NEXT
1138 end)
1139
1140 function dump(startAddr::Int64; count::Int64 = 100, cellsPerLine::Int64 = 10)
1141     chars = Array{Char,1}(cellsPerLine)
1142
1143     lineStartAddr = cellsPerLine*div((startAddr-1),cellsPerLine) + 1
1144     endAddr = startAddr + count - 1
1145
1146     q, r = divrem((endAddr-lineStartAddr+1), cellsPerLine)
1147     numLines = q + (r > 0 ? 1 : 0)
1148
1149     i = lineStartAddr
1150     for l in 1:numLines
1151         print(i,":")
1152
1153         for c in 1:cellsPerLine
1154             if i >= startAddr && i <= endAddr
1155                 print("\t",mem[i])
1156                 if mem[i]>=32 && mem[i]<128
1157                     chars[c] = Char(mem[i])
1158                 else
1159                     chars[c] = '.'
1160                 end
1161             else
1162                 print("\t")
1163                 chars[c] = ' '
1164             end
1165
1166             i += 1
1167         end
1168
1169         println("\t", ASCIIString(chars))
1170     end
1171 end
1172
1173 function printPS()
1174     count = reg.PSP - PSP0
1175
1176     if count > 0
1177         print("<$count>")
1178         for i in (PSP0+1):reg.PSP
1179             print(" $(mem[i])")
1180         end
1181         println()
1182     else
1183         println("Parameter stack empty")
1184     end
1185 end
1186
1187 function printRS()
1188     count = reg.RSP - RSP0
1189
1190     if count > 0
1191         print("<$count>")
1192         for i in (RSP0+1):reg.RSP
1193             print(" $(mem[i])")
1194         end
1195         println()
1196     else
1197         println("Return stack empty")
1198     end
1199 end
1200
1201 DUMP = defPrimWord("DUMP", () -> begin
1202     count = popPS()
1203     addr = popPS()
1204
1205     println()
1206     dump(addr, count=count)
1207
1208     return NEXT
1209 end)
1210
1211 end