Hive源码解析系列–词法分析器parser 接着上次的Hive解析走，上次分享的 < hive源码解析之hive 入口> 一直在忙hive sql优化，所以对sql语法解析关注的多一些，词法解析器+语法解析器。 这次说说基于hive源码说说的词法解析器，而对于分析重点还是正常SQL解析，而非ddl，set 等。 词法分析器 parser 在是一个简单的类图： ParserDriver是词法解析的开始，< hive源码解析之hive 入口> cliDriver 中在所介绍的把hive sql分为五种情况处理，将正常的sql 语句（select .. from ..）传递给ParserDriver,再由antlr 生成语法树。 期间用到一些辅助类，基本上都是为antlr 生成语法树做相应的准备，包括 HiveLexerX进行大小写转化，TokenRewriteStream、antlrNOCaseStringStream 都是继承antlr内部类的方法，将其字符串转成唯一对应的Token 流，为生成语法树据做准备。 因为词法解析器主要通过 Antrl 生成语法树。 词法解析，其实是给sql各个元素给了hive内部可以认识并可以唯一标示的token。 主要调用antrl 的api，所以具体语法细节没有什么好说的，但是如何理解语法树是难点也是关键点。 举个例子： 这是个简单的语句树： select t1.*,t2.value_data from t_hm_ru_03 t1 join ( select * from s_base_values where pt = ’20110410000000′ and value_id = 888
BigPipe学习研究
2011年4月24日 由 焦懿轩 没有评论 »1. 技术背景 FaceBook页面加载技术
试想这样一个场景，一个经常访问的网站，每次打开它的页面都要要花费6 秒；同时另外一个网站提供了相似的服务，但响应时间只需3 秒，那么你会如何选择呢？数据表明，如果用户打开一个网站，等待3~4 秒还没有任何反应，他们会变得急躁，焦虑，抱怨，甚至关闭网页并且不再访问，这是非常糟糕的情况。所以，网页加载的速度十分重要,尤其对于拥有遍布全球的5亿用户的Facebook(全球最大的社交服务网站)这样的大型网站，有着大量并发请求、海量数据等客观情况，速度就成了必须攻克的难题之一。
2010 年初的时候，Facebook 的前端性能研究小组开始了他们的优化项目，经过了六个月的努力，成功的将个人空间主页面加载耗时由原来的5 秒减少为现在的2.5 秒。这是一个非常了不起的成就，也给用户来带来了很好的体验。在优化项目中，工程师提出了一种新的页面加载技术，称之为Bigpipe。目前淘宝和Facebook 面临的问题非常相似：海量数据和页面过大，如果可以在详情页、列表页中使用bigpipe，或者在webx中集成bigpipe，将会带来明显的页面加载速度提升。
2. 相关介绍
2.1 网站前端优化的重要性
《高性能网站建设指南》一书中指出，只有10%~20%的最终用户响应时间是花费在从Web 服务器获取HTML 文档并传送到浏览器中的。如果希望能够有效地减少页面的响应时间，就必须关注剩余的80%~90%的最终用户体验。做个比较，如果对后台业务逻辑进行优化，效率提高了50%，但最终的页面响应时间只减少了5%~10%，因为它所占的比重较少。如果对前端进行性能优化，效率提升50%，则会使最终页面响应时间减少40%~45%。这是多么可观的数字！另外，前端的性能优化一般比业务逻辑的优化更加容易。所以，前端优化投入小，见效快，性价比极高，需要投入更多的关注。
2.2 BigPipe与AJAX
Web2.0的重要特征是网页显示大量动态内容，即web2.0注重网页与用户的交互。其核心技术是AJAX，如今所有主流网站都或多或少使用AJAX。与AJAX类似，BigPipe 实现了分块儿的概念，使页面能够分步输出，即每次输出一部分网页内容。接下来讨论BigPipe 与AJAX 的区别。
简单的说，BigPipe 比AJAX 有三个好处：
1. AJAX 的核心是XMLHttpRequest，客户端需要异步的向服务器端发送请求，然后将传送过来的内容动态添加到网页上。如此实现存在一些缺陷，即发送往返请求需要耗费时间，而BigPipe 技术使浏览器并不需要发送XMLHttpRequest 请求，这样就节省时间损耗。
2. 使用AJAX时，浏览器和服务器的工作顺序执行。服务器必须等待浏览器的请求，这样就会造成服务器的空闲。浏览器工作时，服务器在等待，而服务器工作时，浏览器在等待，这也是一种性能的浪费。使用BigPipe，浏览器和服务器可以并行同时工作，服务器不需要等待浏览器的请求，而是一直处于加载页面内容的工作阶段，这就会使效率得到更大的提高。
3. 减少浏览器发送到请求。对一个5亿用户的网站来说，减少了使用AJAX额外带来的请求，会减少服务器的负载，同样会带来很大的性能提升。
基于以上三点，Facebook 在进行页面优化时采用了BigPipe…
增量日志迭代同步和阿基里斯悖论
2011年4月21日 由 陶方 没有评论 »假设我们有一套数据量庞大的前台系统需要从MySQL上转到Hbase上，比较粗糙的数据同步方法有：
1、将整个前台系统变为只读
2、全量dump MySQL数据
3、将MySQL数据导入到Hbase上
4、将前台系统切换
数据库与SSD的实践与探索-2011数据库技术大会
2011年4月18日 由 jacky 没有评论 »近日参加了IT168组织的2011数据库技术大会，并且分享了一个数据库与SSD实践方面的主题。很遗憾，因为涉及的内容比较多，现场时间有限，所以很多问题都没有解答。
PPT中有我的联系方式，
java socket实例详解
2011年4月3日 由 yybean 没有评论 »一.什么是socket
所谓socket通常也称作"套接字"，用于描述IP地址和端口，是一个通信链的句柄。应用程序通常通过"套接字"向网络发出请求或者应答网络请求。
以J2SDK-1.3为例，Socket和ServerSocket类库位于java.net包中。ServerSocket用于服务器端，Socket是建立网络连接时使用的。在连接成功时，应用程序两端都会产生一个Socket实例，操作这个实例，完成所需的会话。对于一个网络连接来说，套接字是平等的，并没有差别，不因为在服务器端或在客户端而产生不同级别。不管是Socket还是ServerSocket它们的工作都是通过SocketImpl类及其子类完成的。
