当前位置: 主页 > 服务器技术 > 其他技术
  • Hadoop、hive环境搭建详解 日期:2012-9-9 点击:84 来源:互联网

    一、   Hadoop环境搭建     首先在Apache官网下载hadoop的包hadoop-0.20.2.tar.gz。      解压hadoop-0.20.2.tar.gz包,具体命令如下:...

  • MapReduce函数式编程概念 日期:2012-9-9 点击:557 来源:互联网

      MapReduce程序是设计用来并行计算大规模海量数据的,这需要把工作流分划到大量的机器上去,如果组件(component)之间可以任意的共享数据,那这个模型就没法扩展到大规模集群上去了(数百或数千...

  • 分布式文件系统HDFS的缺点及改进策略 日期:2012-9-9 点击:198 来源:互联网

    HDFS是一个不错的分布式文件系统,它有很多的优点,但也存在有一些缺点。目前而言,它在以下几个方面就效率不佳: 低延时访问 HDFS不太适合于那些要求低延时(数十毫秒)访问的应用程序,因为HDFS是设计...

  • Hadoop HDFS配置 日期:2012-9-9 点击:77 来源:互联网

    环境: Jdk1.6 Hadoop-2.20.1 Fuse-2.8.1 Jdk1.6下载地址 hadoop-2.20.1下载地址http://www.apache.org/dyn/closer.cgi/hadoop/core/ Fuse-2.8.1下载地址http://sourceforge.net/projects/fuse/files...

  • 在Ubuntu上装Hadoop 日期:2012-9-9 点击:49 来源:互联网

    在装Hadoop之前首先需要:  1.java1.6.x最好是sun的,1.5.x也可以  2.ssh  安装ssh $sudoapt-getinstallssh $sudoapt-getinstallrsync 下载Hadoop  从http://hadoop.a...

  • Hadoop HBase介绍 日期:2012-9-9 点击:63 来源:互联网

    一.简要介绍 HadoopHBase是ApacheHadoop项目的一部分,基于HadoopDistributedFileSystem,是一个开源的,基于列存储模型的分布式数据库。HBase的目标是(原文):thehostingofverylargetables--billionso...

  • Hadoop启动停止及机架感知方法 日期:2012-9-9 点击:419 来源:互联网

    启动Hadoop 启动Hadoop集群需要启动HDFS集群和Map/Reduce集群。 格式化一个新的分布式文件系统:$bin/hadoopnamenode-format 在分配的NameNode上,运行下面的命令启动HDFS:$bin/start-dfs.sh bin/sta...

  • Hadoop安装简介 日期:2012-9-9 点击:124 来源:互联网

    一,安装hadoop系统 1,添加用户(所有namenode和datanode需要使用相同的用户名,所有的信息传输需要用户认证)freebsd7test1#adduserUsername:rhinuxdoopFullname:Uid(Leaveemptyfordefault):Logingroup[...

  • 分布式文件系统HDFS简介 日期:2012-9-9 点击:92 来源:互联网

    一、HDFS的基本概念 1.1、数据块(block) HDFS(HadoopDistributedFileSystem)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通...

  • Hadoop介绍 日期:2012-9-9 点击:90 来源:互联网

         Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来,Hadoop...

  • 磁带备份加密最佳做法 日期:2011-7-26 点击:40 来源:互联网

      媒体加密技术(包括磁带驱动器加密)   基于主机的加密技术是最有效的,但其加密时需要一个单独的系统或一组分离的系统。基于主机的加密方法不可能将主机上要输出的所有数据都进行加密。市场上基于主...

  • 浅谈混合云存储 日期:2011-7-26 点击:34 来源:互联网

      随着服务器虚拟化的广泛应用,云计算技术已经成为效用计算的下一个发展方向,在云计算时代,我们能够像使用电力资源一样消费计算资源,并且按需付费。云存储的应用则脱胎于Amazon的S3服务(SimpleStor...

  • 基于WEB的移动端云存储技术 日期:2011-7-26 点击:71 来源:互联网

     1.1云存储系统的发展与应用   IDC研究表明,从2006年到2010年,全球信息总量增长6倍以上,从161EB增加到988EB(1EB=1024PB)。面对PB级的海量存储需求,传统的SAN或NAS在容量和性能的扩展上会存在瓶颈,...

  • 分析云存储的两大架构 日期:2011-7-26 点击:46 来源:互联网

     云存储是一种架构,而不是一种服务。你是否拥有或租赁了这种架构是一个次要问题。从根本上来看,通过添加标准硬件和共享标准网络(公共互联网或私有的企业内部网)的访问,云存储很容易扩展云容量和性能。...

  • 在虚拟环境下如何处理数据存储管理任务 日期:2011-7-26 点击:46 来源:互联网

    存储也是虚拟化实施时所需面对的重要问题之一。问题关键不在于空间不足,而在于如何管理数据存储资源。例如,IT经理可能考虑购买一台NetAppFAS3200系列产品,并配置几十TB磁盘空间。我们关注的焦点是如何以...

  • D2D2T的功能和特色 日期:2011-7-26 点击:41 来源:互联网

       D2D2T结合了磁带和磁盘两者的优势。磁带备份日渐被看作是归档用的介质,用来存储信息数月乃至数年;某些磁盘备份则被用于立即恢复损坏的文件或者被误删除的文件。    随...

  • 如何在两个磁带数据库之间进行数据交换 日期:2011-7-26 点击:56 来源:互联网

      随着客户应用系统需求的不断增加,需要备份的数据不断的增多,数据安全性要求也不断提高,作为数据备份所用的磁带库的容量也不断的增加,有时还有可能增加第二个磁带库数据备份,甚至更多的磁带库。基...

  • NAS在虚拟环境中存储特性 日期:2011-7-26 点击:41 来源:互联网

    对于有着大量虚拟化服务器的IT部门而言,网络化存储颇具优势,不过基于已有的体系结构、内部设置、应用程序需求和预算限制等条件的不同,网络存储的优化方案可能千差万别。 对于大部分大型和中型企业,其...

  • 探讨分层存储对性能的影响 日期:2011-7-26 点击:40 来源:互联网

    分层存储技术在归档应用滞后时间方面的表现略有不足。利用最流行的文件服务标准检测程序进行检测,目前整合分层存储技术的最高端NAS设备的最短滞后时间为0.4毫秒。这绝对是目前经过检测的高端NAS解决方案中...

  • 减少硬盘坏道的使用建议 日期:2011-7-26 点击:41 来源:互联网

      如何正确使用才能减少坏道的发生   建议一:硬盘在工作时不能突然关机   当硬盘开始工作时,一般都处于高速旋转之中,如果我们中途突然关闭电源,可能会导致磁头与盘片猛烈磨擦而损坏硬盘,因此...

推荐内容最近更新人气排行
关于我们 | 友情链接 | 网址推荐 | 常用资讯 | 网站地图 | RSS | 留言