Entwickeln von abstrakten Syntax Baum

Question

Ich habe das Internet auf der Suche nach einigen Neuling Informationen über die Entwicklung einer C# Abstract Syntax Bäume, aber ich kann nur Informationen für die Menschen bereits "in-the-Know" zu finden. Ich bin ein Anwendungsentwickler, daher sind Themen wie diese ein bisschen über meinen Kopf, aber das ist für meine eigene Ausbildung, also bin ich bereit, die Zeit zu verbringen und zu lernen, welche Konzepte notwendig sind.

Im Allgemeinen möchte ich etwas über die Techniken lernen, die hinter der Entwicklung einer abstrakten Darstellung von Code aus einer Codefolge stehen. Genauer gesagt, möchte ich in der Lage sein, diese AST zu verwenden, um C# -Syntax hervorzuheben. (Ich weiß, dass Syntax Highlighting nicht notwendig eine AST, aber das scheint wie eine gute Gelegenheit, einige "Compiler" -Level-Techniken zu lernen.)

Ich entschuldige mich, wenn diese Frage ein bisschen breit ist, aber ich bin Ich bin mir nicht sicher, wie ich sonst fragen soll.

Danke!

Answer 1

Zuerst müssen Sie verstehen, was Parsing ist und was abstrakte Syntaxbäume sind. Hierzu können Sie für einen ersten Blick Wikipedia on abstract syntax trees konsultieren.

Sie müssen wirklich etwas Zeit mit einem Compiler-Lehrbuch verbringen, um zu verstehen, wie abstrakte Syntaxbäume mit dem Parsing zusammenhängen und beim Parsen konstruiert werden können; Die klassische Referenz ist Aho/Ullman/Sethis "Compiler" -Buch (leicht im Internet zu finden). Sie können die SO Antwort auf Are there any "fun" ways to learn about Languages, Grammars, Parsing and Compilers? aufschlussreich finden.

Sobald Sie verstehen, wie man einen AST für eine einfache Grammatik baut, können Sie Ihre Aufmerksamkeit dann auf etwas wie C# lenken. Das Problem hier ist der Umfang; Es ist eine Sache, mit einer Spielzeugsprache mit 20 Grammatikregeln zu spielen. Es ist eine andere, mit Grammatik von mehreren hundert oder tausend Regeln zu arbeiten. Erfahrung wird kleine machen es viel einfacher zu verstehen, wie die großen zusammen sind, und wie man mit ihnen leben.

Sie möchten wahrscheinlich nicht Ihre eigene C# -Grammatik erstellen (oder die aus dem C# -Standard implementieren); Es ist ziemlich viel Arbeit. Sie können verfügbare Werkzeuge erhalten, die Ihnen C# ASTs geben (Roslyn wurde bereits erwähnt; ANTLR hat einen C# Parser, es gibt viele mehr).

Es ist wahr, dass Sie einen AST für Syntaxhervorhebung verwenden könnten (obwohl das wahrscheinlich eine Mücke mit einem Vorschlaghammer tötet). Worüber die meisten Leute nicht viel nachdenken (aber die Compiler-Bücher betonen), passiert nach einem AST; meistens sind sie nicht selbst nützlich. Sie brauchen tatsächlich viel mehr Maschinen, um etwas Interessantes zu tun. Anstatt dies immer und immer wieder zu wiederholen (ich sehe immer die gleichen Fragen), können Sie meine Diskussion unter Life After Parsing für weitere Details sehen.

Answer 2

Werfen Sie einen Blick auf Roslyn. Ich denke, es könnte sein, wonach Sie suchen. Es gibt Ihnen Zugriff auf die Compiler AST, unter vielen anderen erstaunlichen Dingen!

http://blogs.msdn.com/b/visualstudio/archive/2011/10/19/introducing-the-microsoft-roslyn-ctp.aspx

Darüber hinaus schlage ich ein Lehrbuch über Compiler.

Answer 3

Sie sollten wahrscheinlich einen Blick auf diese Rede von Phil Trelford nehmen:

Write your own compiler in 24 hours

Dieser Mann ist ein Genie, und lassen Sie über Compiler lernen feuert. Er erklärt es buchstäblich leicht genug für einen Fünfjährigen zu verstehen. Der fragliche Fünfjährige ist sein Sohn, hat also wahrscheinlich einen unfairen Vorteil, aber fünf sind fünf.