欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

练手写了个SQLite解析器 博客分类: 其他 LLantlrsqlite手写parser 

程序员文章站 2024-03-25 20:35:46
...

    书看了大半,天马行空似懂非懂。返回头看看感觉没学到什么东西,所以还是动手尝试下。实际这个解析器只是sqlite语法的一个create table语法,而且也没完全实现(不支持check约束和指定数据库)。

   

     为了定一个模子我先写了一个create table 的antlr文法(如下)照着做的。

grammar sqlitcreatetable;

@members{
private boolean isType(String id){
	id=id.toLowerCase();
	return id.equals("int")|| id.equals("integer") 
			||id.equals("bool")||id.equals("boolean")
			||id.equals("long")
			||id.equals("short")||id.equals("byte")
			||id.equals("float")
			||id.equals("real")||id.equals("double")
			||id.equals("blob")
			||id.equals("text")||id.equals("varchar")||id.equals("nvarchar")||id.equals("string")||id.equals("char");
}
}

createTableStatment
	:	'create' (temp='temp'|temp='temporary')? 'table' ('if' 'not' 'exists')?
	 name
	 columnList ';'?
	 {
	 	System.out.print(($temp.text!=null? "temporary ":"") + "table:"+$name.text);
	 }
	;

columnList
	:	'(' column (',' column)* ')' 
	;
	
column	:	
	name
	type typelimit?
	constainst*
	{
	 	System.out.println("column:" +$name.text +" "+$type.text);
	}
	;

typelimit
	:	'(' a=INT ( ',' b=INT)? ')'
	{
		if($a.text!=null && $b.text!=null){
			System.out.print("(" +$a.text+ ","+$b.text+")");
		}else if($a.text!=null ){
			System.out.print("(" +$a.text+")");
		}
	}
	;
	
type	:	{ isType( input.LT(1).getText() ) }?ID
	;

constainst
	:	'primary' 'key'	{System.out.print(" primary key"); }
	|	'unique'	{System.out.print(" unique"); }
	|	'default' '(' (v=INT|v=FLOAT|v=STRING) ')'	{System.out.print(" default("+$v.text+")"); }
	|	'not' 'null'	{System.out.print(" not null"); }
	|	'autoincrement' {System.out.print(" autoincrement"); }
	;

name	:	'[' ID ']'
	|	ID
	;


ID  :	('a'..'z'|'A'..'Z'|'_') ('a'..'z'|'A'..'Z'|'0'..'9'|'_')*
    ;

INT :	'0'..'9'+
    ;

FLOAT
    :   ('0'..'9')+ '.' ('0'..'9')* EXPONENT?
    |   '.' ('0'..'9')+ EXPONENT?
    |   ('0'..'9')+ EXPONENT
    ;

COMMENT
    :   '--' ~('\n'|'\r')* '\r'? '\n' {$channel=HIDDEN;}
    |   '/*' ( options {greedy=false;} : . )* '*/' {$channel=HIDDEN;}
    ;

STRING
    :  '\'' ( ESC_SEQ | ~('\\'|'\'') )* '\''
    ;

fragment
EXPONENT : ('e'|'E') ('+'|'-')? ('0'..'9')+ ;

fragment
HEX_DIGIT : ('0'..'9'|'a'..'f'|'A'..'F') ;

fragment
ESC_SEQ
    :   '\\' ('b'|'t'|'n'|'f'|'r'|'\"'|'\''|'\\')
    |   UNICODE_ESC
    |   OCTAL_ESC
    ;

fragment
OCTAL_ESC
    :   '\\' ('0'..'3') ('0'..'7') ('0'..'7')
    |   '\\' ('0'..'7') ('0'..'7')
    |   '\\' ('0'..'7')
    ;

fragment
UNICODE_ESC
    :   '\\' 'u' HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT
    ;
    
 WS  :   ( ' '
        | '\t'
        | '\r'
        | '\n'
        ) {$channel=HIDDEN;}
    ;

 

   生成这个文法的代码调试输入create table 语句则会输出表、列、列类型和约束信息。

   sqlite的create table 语法还是比较简单的,用LL(1)即可以实现了。比较麻烦的还是词法分析部分,由于  Terence Parr讲解的例子里面未涉及到关键字的识别,所以对于关键字的识别我采用了向前看(n+1)来判断是否为某关键字。这个算法(isKW函数)或许是错误的方法请各位有经验的朋友指教。

    代码没神码好贴的了有兴趣的朋友下载代码编译跑跑。看看输入内容

" create temporary table\n/*MLComment*/ IF NOT EXISTS [table_name] (\n[a1] int  unique not null,b1 double(22) primary key,c1 string(1,2) AUTOINCREMENT,e1 float not null,ff char default(0.123) )--SLComment";

 在节点的保存上我采用了简单的收集需要的节点,而不是异形树或同型树之类,遍历的结果将输出这样的

MLComment
SLComment
tbl--temporaray table_name
Column--a1 int unique not null
Column--b1 double(22) primary key
Column--c1 string(1,2) autoincrement
Column--e1 float not null
Column--ff string default(0.123)