?

2.??Hiphop?编译原理分析

接着上节没有分析完的内容继续分析

2.1.??hiphop?编译处理流程

?

编译流程以?echo?“test”;简单分析

(1)加载web server基本信息，通过调用RuntimeOption::Load(empty)方法进行加载

(2)初始化加载扩展基本内容：prepareOptions(po, argc, argv);初始化编译配置；BuiltinSymbols::LoadSuperGlobals()加载php?如_get,_session等函数的返回值类型等；BuiltinSymbols::Load和ar->loadBuiltins()加载扩展类、扩展方法、扩展常量、扩展变量

(3)parser:通过调用Package的parser方法，执行lex和bison进行词法和语法分析,生成语法分析树

(4) analyzeProgram：语义分析阶段，进行划分作用域和控制流等

(5)(7)代码优化

(6)类型推导

(8)生成代码

?

2.2.??hiphop?词法分析

例:echo?“test”;

进入词法和语法分析的入口是Package::parse方法

词法分析规则文件是在src/Utile/Parse/hphp.x中,是用flex进行词法分析的

echo “test”

匹配了2个token分别为：

T_ECHO?和T_CONSTANT_ENCAPSED_STRING

Hphp.x中的匹配规则如下：

echo词法分析为T_ECHO

<ST_IN_SCRIPTING>"echo"???????????????? { SETTOKEN; return T_ECHO;}

“test”?解析TOKEN为T_CONSTANT_ENCAPSED_STRING

ANY_CHAR (.|[\n])

?

DOUBLE_QUOTES_LITERAL_DOLLAR("$"+([^a-zA-Z_\x7f-\xff$\"\\{]|("\\"{ANY_CHAR})))

?

DOUBLE_QUOTES_CHARS("{"*([^$\"\\{]|("\\"{ANY_CHAR}))|{DOUBLE_QUOTES_LITERAL_DOLLAR})

?

<ST_IN_SCRIPTING>(b?[\"]{DOUBLE_QUOTES_CHARS}*("{"*|"$"*)[\"]){

???????int bprefix = (yytext[0] != '"') ? 1 : 0;

???????std::string strval =

?????????_scanner->escape(yytext + bprefix + 1,

?????????????????????????? yyleng - bprefix -2, '"');

???????_scanner->setToken(yytext, yyleng, strval.c_str(), strval.length());

???????return T_CONSTANT_ENCAPSED_STRING;

}

?

Hiphop?定义的默认Token?结构是：

#define YYSTYPE HPHP::ScannerToken

调用流程：

（1）首先调用：hphp.y中的

static int yylex(YYSTYPE *token,HPHP::Location *loc, Parser *_p) {

?return _p->scan(token, loc);}调用扫描器；

（2）然后扫描器scan调用扫描器：Scanner::getNextToken ,获取token

（3）然后调用hphp.x中的：

int Scanner::scan() {

???return yylex(m_token, m_loc, m_yyscanner);

? }

（4）执行yylex对lex语法进行分析

?

TOKEN分词，目前echo “test”给拆分成了2个TOKEN

echo => T_ECHO

“test” =>T_CONSTANT_ENCAPSED_STRING

?

这里都是通过正则匹配进行词法分析的：

（1）??????echo

<ST_IN_SCRIPTING>"echo"???????????????? { SETTOKEN; return T_ECHO;}

当遇到echo?时则返回T_ECHO，其他依次类推，更多的分析，我们将在原理分析二中进行分析语句（statement）和表达式（expression）

（2）??????“test”

通过正则分析最终匹配T_CONSTANT_ENCAPSED_STRING，常量String的这个TOKEN

词法分析完成后，下一步就是进行语法分析了

2.3.??hiphop?语法分析

之前lex?已经划分出了2个token: T_ECHO?和T_CONSTANT_ENCAPSED_STRING

根据token?查找语法规则：

Hphp的语法分析是用bison分析的，在src/Utile/Parse/hphp.y文件中

T_ECHO expr_list { _p->onEcho($$, $2,0);}

匹配上这里后，然后expr_list?又是一个合成规则，继续递归往下找，直到找到最终匹配规则：

common_scalar:

???T_LNUMBER?????????????????????????{ _p->onScalar($$, T_LNUMBER,?$1);}

? |T_DNUMBER????????????????? ????????{ _p->onScalar($$, T_DNUMBER,? $1);}

? |T_CONSTANT_ENCAPSED_STRING???????? {_p->onScalar($$,

????????????????????????????????????????T_CONSTANT_ENCAPSED_STRING,? $1);}

最终封装为一个语法树

?

具体规则内容：

start:

???top_statement_list????????????????{ _p->popLabelInfo();

????????????????????????????????????????_p->saveParseTree($$);}

;

?

top_statement_list:

???top_statement_list

???top_statement?????????????????????{ _p->addStatement($$,$1,$2);}

?|?????????? ?????????????????????????{_p->onStatementListStart($$);}

;

top_statement:

???statement?????????????????????????{ _p->nns($1.num() == T_DECLARE);

???????????????????????????????????????? $$ =$1;}

?............

;

?

statement:

……..

? |T_ECHO expr_list ';'?????????????? {_p->onEcho($$, $2, 0);}

/////////////////////////////////////

expr_list:

???expr_list ',' expr????????????????{ _p->onExprListElem($$, &$1, $3);}

? |expr?????????????????????????????? {_p->onExprListElem($$, NULL, $1);};

/////////////////////////////////

expr:

...............

? |scalar???????????????????????????? { $$ =$1;}

.............;

/////////////////////////////////////////

scalar:

.........

? |common_scalar????????????????????? { $$ =$1;}

............

;

?

?

common_scalar:

? ??T_LNUMBER????????????????????????? { _p->onScalar($$,T_LNUMBER,? $1);}

? |T_DNUMBER????????????????????????? {_p->onScalar($$, T_DNUMBER,? $1);}

? |T_CONSTANT_ENCAPSED_STRING???????? {_p->onScalar($$,

???????????????????????????????????????? T_CONSTANT_ENCAPSED_STRING,? $1);}

…………..

?

?

具体流程如下：

语法分析从start开始，类似top_statement:{…..}是一个语句；

如我们的echo，他会逐个的语句中去找，最终在

statement:

……..

? |T_ECHO expr_list ';'?????????????? {_p->onEcho($$, $2, 0);}

这个语句中找到了T_ECHO，然后{这里面的是调用的实现代码}

移进是一个自顶向下的过程，规约是一个自底向上的过程；

Statement=> T_ECHO=> expr_list=> expr=>scalar=>common_scalar=> T_CONSTANT_ENCAPSED_STRING

这就一个echo “test”?的语法分析：

首先找到T_ECHO?然后向下找expr_list；

expr_list?又有子集expr；

expr，这个表达式呢又找到是一个scalar的；

scalar表达式子集中common_scalar又有匹配；

?最终在common_scalar中找到匹配的TOKEN?（T_CONSTANT_ENCAPSED_STRING）

?

?

匹配的过程其实就是一个移进规约的过程：

Echo “test”

这里的.是游标

Echo .”test”?移进

EchoExpression “test”.?规约

EchoExpression ExpressionList?规约

EchoExpression. ScalarExpression移进

EchoExpression ExpressionList.?移进

EchoExpression ExpressionList规约

EchoExpression. ExpressionList移进

Statement?规约

Statement.?移进

top_statement?规约

top_statement.?移进

top_statement_list?规约

?

移进规约后生成一颗语法树；

?

?

Parser::onScalar?这个方法是获取T_CONSTANT_ENCAPSED_STRING这个token?后创建一个saclarExpression的实例

然后调用_p->onExprListElem($$, NULL, $1);是将saclarExpression封装到exprList中

然后调用onEcho?是将exprList封装到EchoStatment语句中，这样就生成了一个语法树

上面的$$类似于树的顶点，也就是每次处理后返回的封装节点，$1则是传入的token或者表达式等内容的信息，对其进行封装

?

生成的语法树：

?

?

?

?

?

hiphop Token?的数据结构：

???????? ?class Token : public ScannerToken?：

ExpressionPtr exp;

?StatementPtr stmt;

Class ScannerToken：

? int m_num; // internal token id

? std::string m_text;

? bool m_check;

?

下一节：hiphop原理分析2

• 
• 大小: 43.8 KB

• 
• 大小: 11.9 KB

• 查看图片附件