文写作成人

题目:

专业:

研究方向:

你的题目包含两个工作点:一个是元数据冗余副本.一个是副本管理.

通过看你的文档,我觉得要做的是一个这样的东西:使用hadoop来搭建分布式架构.通过自己改进来实现namenode和secondnamenode的信息交互.通过创建一种新的副本管理制度(用户写作)来进行副本管理(针对副本管理的需求,采用以蚂蚁算法为基础的DRS-ACO[30]副本创建策略.).

第一部分是来实现元数据冗余,采用hadoop来搭建一个分布式的架构.通过对hadoop上的namenode及secondnamenode的转换关系做一些突破,在现有的转换机制的基础上做一些改进及优化,使得可以缩短单点瓶颈出现问题时修复的时间以及别的一些问题.

第二部分是通过蚂蚁算法为基础的DRS-ACO[30]副本创建策略(不用这种方法也行)来进行用户写作的副本管理,这部分可以再hadoop架构之上进行开发.即在hadoop的支持下进行开发.通过ja语言书写hadoop应用程序,来实现对副本管理进行创新.

整个系统大体分这两部分,一部分就是hadoop的性能二次开发,一部分是hadoop的应用开发.基本上切合题目的两个问题,并且也算是有两个创新点.

强调了几点:

元数据是连接用户写作部分和主节点备份的纽带,关键点.元数据是呈现给用户的信息(性质,属性).因此元数据处理那块要体现出连接用户写作和主节点备份,就是使我们研究的两部分连接起来,我们最后做出来的整个系统是一个完整的功能模块.

论文中要解释什么是元数据冗余(我也迫切想知道,论文题目中有元数据冗余,我怕到时答辩老师问！)元数据冗余部分在hadoop基础上进行改进和优化,就是说要有自己的工作！

我们所做出的用户写作的副本管理与现有的那些副本管理相比较的优势与改进.我们在哪些方面做了改进,这个要明确的说出来！要把我们的工作量表达出来！(这个我觉得在答辩时要说的,算法方面的改进之类的,你做的你肯定了解,做了哪些改进都要说出来！)

用户写作应该是:用户需求--(映射到副本--(副本管理

也就是说用户写作是在什么情况下用户才写作的,即我们做出的系统面向用户时,肯定不是写的副本怎样怎样用户写作,而是用户基于实际需求而做出写作需求,从而映射到我们的副本管理上.这个就要有客户端,面向用户的工作了！(老师说这部分就不是hadoop做的了,是我们自己做出来！我感觉是要做出个界面,这块老师说可以不是那么的完善,只要把主要的用户写作选择体现了就行.)

大体是这么个意思吧,你先看下.有什么问题及时交流.

这是个毕业设计项目,先看要求,诚心找高手来完成,确定能做的可以加我258213149,注明分布式项目,非诚勿扰

就两个方面来开题:

1.基于用户写作的副本创建管理策略:

目前副本的放置策论基本都是由怎么写作端(云端)负责控制,往往不能完全符合用户的需求,我想可以给用户提供一些方案(用户写作)来选择(最低廉,访问最快,能够快速访问等等一些策略等),比如

a)用户只想把文件存储做副本,而对于是否能够快速访问不关心,则可以选择廉价的存储.

b)用户想要一定区域内的用户能够快速访问,而其他区域能否访问不关心,则可以给他另一种收费方案等等.

c)用户有新的需求,需要改变策略等等

2.系统的可靠性方面(主节点的备份)

目前数据空间只有一个主节点,如何设计一个好的方案提高主节点的可靠性,我想可以制定一套策略来备份主节点.

比如:设计一个从节点,当主节点挂掉的时候,从节点能够接替它(涉及到元数据同步之类的事情).

综合起来以上两点开题

论文的研究内容及拟采取的技术方案

研究目标

主要研究内容

目前的副本管理方案,用户不必关系副本的管理策略,但同时为了满足所有用户而制定的策略并不能达到最高效的管理方案,同时对资源也没有进行充分的利用.

1.2.1系统

针对系统的功能需求,其功能模块如下图所示

系统功能结构图

客户端主要分为两部分:控制命令模块和数据传输模块.控制命令模块负责与怎么写作节点进行命令交互.数据传输模块则负责与数据节点进行具体的数据传输.提供Ja调用和tel两种交互方式.

怎么写作接口我们制定了相应的协议规范.解析用户的输入,每条命令首先判断用户权限,然后调用相应的目录怎么写作调度怎么写作和副本怎么写作等.并返回相应信息..比如STOR(存储)怎么写作首先判断用户是否有写权限,如果有则调用调度怎么写作申请相应节点的有效空间,并调用副本怎么写作确定要复制的副本数目.然后调用目录怎么写作将文件的更改写到元数据中.

目录怎么写作(元数据怎么写作),对文件的元数据进行维护.整个数据空间只有一个实例进行元数据的读写.我们将每个文件的信息存储到数据库中(比如:/afs/a.txt,1024,等记录文件的绝对路径,文件大小,日期等等),当怎么写作启动的时候,读取每一条数据,建立树状目录结构.

1.2.2系统架构

图2系统结构图

研究方案及技术路线

1.3.1用户写作策略

基于用户的性能需求

对于不同的用户,其对于性能的要求是不同的,比如如果用户存储的是小文件,而且对文件的访问并不密集,则可以给予用户比较廉价的机器,反之则可以给用户性能好的机器,这样可以合理的利用资源

基于用户的价钱等因素

因为资源的限制,可以根据用户的价钱等方面对用户进行收费,从而更好的为系统怎么写作.

基于用户对域的要求

比如有的用户需要特定域能快速访问,而其他域能访问与否则没有太大关系,这样可以对特定域做一些性能较高的副本,而其它域不做副本或作少量副本.

1.3.2元数据

为了保证系统的可用性,防止单点失误,我们采用主节点备份的方式来保证可用性.备份节点主要负责对主节点的元数据进行冗余备份.备份方式可以采用完全数据冗余的方式,主要涉及到两个方面:

元数据数据更新

数据的更新方式很多,可以定期发送,也可以实时发送,由于一般来说对于元数据的更改操作不多,我们采用实时发送更新的方式,利用SEDA模型,JMS等方式进行消息的管理.

元数据数据一致性保证

对于文件的更改,更改顺序是至关重要的,因此怎样设计合适的一致性算法,保证元数据更新一致是关键因素.

关键技术或技术路线

从以上研究内容和方案可以看出,关键技术在于副本创建策略,怎样保证元数据能够及时的备份到主节点,怎样能够保证备份数据的正确性.

本创建策略

.利用策略DRSACO,副本创建可以依据三种不同的怎么写作质量标准进行.这三种怎么写作质量标准分别为时间代价最优,花费代价最优和性价比指数最优.

在元数据冗余中,主要是怎样保证将更新信息按顺序及时准确发送到备份节点,因此需要制定合适的数据校验顺序保证机制.保证消息能够准确的到达备份节点,保证消息按序在备份节点处理,即保证主节点和备份节点元数据更新的一致性

这是个毕业设计项目,先看要求,诚心找高手来完成,确定能做的可以加我258213149,注明分布式项目,非诚勿扰

客户端接口

怎么写作接口

目录怎么写作

副本管理(策略管理)

元数据冗余(备份)

负载均衡

数据节点

客户端

主节点

备份节点

数据节点

数据节点

数据节点