大数据量的问题是很多面试笔试中经常出现的问题,比如baidu google 腾讯 这样的一些涉及到海量数据的公司经常会问到。
下面的方法是我对海量数据的处理方法进行了一个一般性的总结,当然这些方法可能并不能完全覆盖所有的问题,但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目,方法不一定最优,如果你有更好的处理方法,欢迎与我讨论。
大数据量的问题是很多面试笔试中经常出现的问题,比如baidu google 腾讯 这样的一些涉及到海量数据的公司经常会问到。
下面的方法是我对海量数据的处理方法进行了一个一般性的总结,当然这些方法可能并不能完全覆盖所有的问题,但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目,方法不一定最优,如果你有更好的处理方法,欢迎与我讨论。
上午10点起床,11点半到公司。
下午继续写测试,在随机生成的压力测试中,测出一个深藏已久的NULL属性单独提取Bug,甚喜。
下班之前,申请了443端口访问,希望明天能通过。只能上http网页的日子实在是太单调了,我已经受不了了。
晚上理性更新建站blog一篇,更新个人blog一篇,睡觉。
晚安。
dllimport是System.Runtime.InteropServices命名空间下的一个属性类,其功能是提供从非托管DLL导出的函数的必要调用信息。
dllimport属性应用于方法,要求最少要提供包含入口点的dll的名称。
[AttributeUsage(AttributeTargets.Method)]
public class DllImportAttribute: System.Attribute
{
public DllImportAttribute(string dllName) {…} //定位参数为dllName
public CallingConvention CallingConvention; //入口点调用约定
public CharSet CharSet; //入口点采用的字符接
public string EntryPoint; //入口点名称
public bool ExactSpelling; //是否必须与指示的入口点拼写完全一致,默认false
public bool PreserveSig; //方法的签名是被保留还是被转换
public bool SetLastError; //FindLastError方法的返回值保存在这里
public string Value { get {…} }
}
2009.7.6 阅读http://osdldbt.sourceforge.net/的Database Test Suite源代码,了解其基本设计思路。 2009-7-7 阅读TPC-C最新文档,了解TPCC测试时的数据库表结构,画TPC-C测试结构图 2009-7-8 继续看文档 2009-7-9 在武义,继续看文档 2009-7-10回来,看文档
TPC:事务处理性能测试委员会TPC(Transaction process performance Council)是一个专门负责制定计算机事务处理能力测试标准并监督其执行的组织,其总部位于美国。其功能是制定商务应用基准程序(Benchmark)的标准规范、性能和价格度量,并管理测试结果的发布。目前,TPC已经制定了众多标准,其中包括已过期的TPC-A,TPC-B,TPC-D,TPC-R,TPC-W标准和正在使用的TPC-C,TPC-E,TPC-H和TPC-APP标准。 OLTP:联机事务处理。也称为面向交易的处理系统,其基本特征是顾客的原始数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果。这样做的最大优点是可以即时地处理输入的数据,及时地回答。也称为实时系统(Real time System)。衡量联机事务处理系统的一个重要性能指标是系统性能,具体体现为实时响应时间(Response Time),即用户在终端上送入数据之后,到计算机对这个请求给出答复所需要的时间。OLTP 数据库旨在使事务应用程序仅写入所需的数据,以便尽快处理单个事务。
下午参加实验室研究生的第一次会议,对实验室的当前情况也有了大概的了解。我们实验室目前有三个项目:垂直搜索引擎项目、数据库项目和嵌入式操作系统项目。垂直搜索引擎项目是之前已经几乎完成的比价啦电子产品引擎,而数据库项目则是之前已经有好几个版本,目前正在滚动周期中。嵌入式操作系统项目是军口项目,目前刚刚起步。 因为嵌入式太让人头疼,垂直搜索引擎组又没多少事情干,我还是选择了数据库,试两个月再说了。明天就要去实验室了,悲剧啊。 BTW,反正我八月份一定要回家。