ITeye博客

苍冥之鹰

hmilyzhangl · 共 28 篇文章

DAS、NAS、SAN、iSCSI 存储方案概述

目前服务器所使用的专业存储方案有DAS、NAS、SAN、iSCSI几种。存储根据服务器类型可以分为:封闭系统的存储和开放系统的存储: (1)封闭系统主要指大型机. (2)开放系统指基于包括Windows、UNIX、Linux等操作系统的服务器; 开放系统的存储分为:内置存储和外挂存储; (3)开放系统的外挂存储根据连接的方式分为: 直连式存储(DAS:Direct-Attached Storage)和网络化存储(Fabric-Attached Storage:FAS) (4)开放系统的网络化存储根据传输协议又分为: NAS:Network-Attached Storage和SAN:Stora…

2013-05-16 15:08 · 存储 · 评论(0)

Builder - 创建者模式

对于Builder模式很简单,但是一直想不明白为什么要这么设计,为什么要向builder要Product而不是向知道建造过程的Director要。刚才google到一篇文章,总算清楚了。在这里转贴一下这位 richardluo的比喻 。 简单地说,就好象我要一座房子住,可是我不知道怎么盖(简单的砌墙,层次较低),也不知道怎么样设计(建几个房间,几个门好看,层次较 高),于是我需要找一帮民工,他们会砌墙,还得找个设计师,他知道怎么设计,我还要确保民工听设计师的领导,而设计师本身也不干活,光是下命令,这里砌一 堵墙,这里砌一扇门,这样民工开始建设,最后,我可以向民工要房子了。在这个过程中,设计师…

2013-01-30 09:47 · java设计模式 · 评论(0)

Ganglia安装指南 (基于CentOS 5.6)

安装依赖 rpm -ivh http://mirrors.sohu.com/centos/5/os/x86_64/CentOS/zlib-devel-1.2.3-3.x86_64.rpm rpm -ivh http://mirrors.sohu.com/centos/5/os/x86_64/CentOS/freetype-devel-2.2.1-28.el5_5.1.x86_64.rpm rpm -ivh http://mirrors.sohu.com/centos/5/os/x86_64/CentOS/libart_lgpl-devel-2.3.17-4.x86_64.rpm rpm -i…

2013-01-08 15:49 · ganglia · 评论(0)

hadoop 根据SecondaryNameNode恢复Namenode

1.修改conf/core-site.xml 增加 < property > < name > fs.checkpoint.period</ name > < value > 3600</ value > < description > The number of seconds between two periodic checkpoints. </ description > </ property > < property > < name > fs.checkpoint.size</ name > < value > 67108864</ value > < description …

2013-01-04 17:30 · 云计算--hadoop · 评论(0)

Linux 中使用 KVM

听讲XEN很快就要从LINUX内核中去掉,redhat和Ubuntu也大力的在推广KVM,所以在Ubuntu下整了一下KVM,相当容易使用,基本比Vmware还要容易,但性能好上很多倍,因为他是半虚拟的,很大程序上可以直接使用真实的硬件. RedHat 红帽CTO Brian Steven在一次记者招待会说:“我们致力于Xen,RHEL 5有10年的生命周期,因此会有一个较大的交叉过渡.我们将在Red Hat 6中全面使用KVM,但KVM目前已经准备就绪,完全可以正式投入到数据中心和云中,不用再等待了!” KVM要使用2.6.20以上的内核才行.Ubuntu到是不用担心,它基本一直使用的是最…

2012-08-28 14:24 · 虚拟化 · linux · 评论(0)

Apache+Tomcat集群

本文Apache+Tomcat集群配置 基于最新的Apache和Tomcat,具体是2011年4月20日最新的Tomcat和Apache集群和负载均衡配置。 准备环境 Apache Apache 是 http 服务器,我们利用其对 Tomcat 进行负载均衡。目前最新版本为 2.2.17 ,下载地址为 http://httpd.apache.org/download.cgi#apache22 。如下图: 目前已经出现 Apache2.3.11 ,但是为 beta 版本,所以没有使用。 下载后直接安装 msi 即可,如果没有其他的 http 服务器 ( 如 iis) 则应该可以成功安装,端口即…

2012-05-08 13:38 · java基础 · 工具管理 · 评论(1)

hadoop杂记(一)

namenode(hdfs)+jobtracker(mapreduce)可以放在一台机器 上,datanode+tasktracker可以在一台机器上,辅助namenode要单独放一台机器,jobtracker通常情况下分区跟 datanode一样(目录最好分布在不同的磁盘上,一个目录对应一个磁盘),namenode存储目录需要格式化,datanode存储目录不需要格式 化,启动时自动创建 同一个datanode上的每个磁盘上的块不会重复,不同datanode之间的块才可能重复 一些文件的说明: 1、dfs.hosts 记录即将作为datanode加入集群的机器列表 2、mapred.hos…

2012-05-03 15:52 · 云计算--hadoop · 评论(0)

hadoop杂记(二)

四、安全模式属性说明 1、dfs.replication.min 类型:int 默认值:1 说明:设置最小副本级别,成功执行写操作所需要创建的最少副本数目(也就是最小复本级别) 2、 dfs.safemode.threshold.pct 类型:float 默认值:0.999 说明:在namenode退出安全模式之前,系统中满足最小复本级别(由上一个选项定义)的块的比例,将这项值设为0或更小的比例会令namenode无 法启动安全模式,设为高于1则永远不会退出安全模式 3、dfs.safemode.extension 类型:int 默认值:30000 说明:在最小复本条件(由上一个选项定义)满…

2012-05-03 15:51 · 云计算--hadoop · 评论(0)

java 通过jdbc驱动连接hive操作实例

1,hive首先要起动远程服务接口,命令: nohup hive –service hiveserver & 2,java工程中导入相应的需求jar包,列表如下: antlr-runtime-3.0.1.jar hive-exec-0.7.1.jar hive-jdbc-0.7.1.jar hive-metastore-0.7.1.jar hive-service-0.7.1.jar jdo2-api-2.3-ec.jar libfb303.jar 3,简单测试代码,已经测试成功操作 package com.javabloger.hive; import java.sql.Connectio…

2012-04-10 20:48 · hive · 评论(0)

hadoop、hbase、zookeeper环境搭建(详细)

一 机器 192.168.0.203 hd203: hadoop namenode & hbase HMaster 192.168.0.204 hd204: hadoop datanode & hbase HRegionServer & zookeeper 192.168.0.205 hd205: hadoop datanode & hbase HRegionServer & zookeeper 192.168.0.206 hd206: hadoop datanode & hbase HRegionServer & zookeeper 192.168.0.202 hd202: hadoop …

2012-03-27 12:54 · 云计算--hadoop · 评论(0)

sqoop安装及数据迁移

下载sqoop [root@localhost download]# wget http://cloud.github.com/downloads/cloudera/sqoop/sqoop-1.3.0.tar.gz wget http://labs.mop.com/apache-mirror//incubator/sqoop/stable/sqoop-1.4.1-incubating__hadoop-0.20.tar.gz 同步各个节点时间 详见 http://zhengzhuangjie.iteye.com/blog/1409336 有可能需要把hadoop-core-0.20.203.0…

2012-03-26 23:15 · 云计算--hadoop · 评论(0)

使用sqoop将MySQL数据库中的数据导入Hbase

前提:安装好 sqoop、hbase。 下载jbdc驱动:mysql-connector-java-5.1.10.jar 将 mysql-connector-java-5.1.10.jar 复制到 /usr/lib/sqoop/lib/ 下 MySQL导入HBase命令: sqoop import --connect jdbc:mysql://10.10.97.116:3306/rsearch --table researchers --hbase-table A --column-family person --hbase-row-key id --hbase-create-table -…

2012-03-26 23:12 · 云计算--hadoop · 评论(1)

hadoop 集群升级失败记录

一.错误概述 因为需要使用hadoop与hbase结合使用,所以需要为hadoop hdfs升级使用append写模式。需要对现有的hadoop 0.20.1 升级至0.20.205.0; 升级过程简单的使用 hadoop namenode -upgrade 从 -18 version => -32version(这个是dfs/name/current/VERSION).但我们发现0.20.205跟hive不兼容,所以又安装 facebook的hadoop版本(-30版本)。 整个升级流程简单来说就是: dfs/name/current/VERSION -18 => -32 => -30. …

2012-03-22 14:19 · 云计算--hadoop · 评论(0)

扩展hadoop hdfs,实现WebDav协议,将hdfs mount为linux本地文件系统

使用hadoop的shell命令进行hdfs的操作十分不方便,最好的办法当然是将hdfs映射为本地文件系统. 而通过实现WebDav Http协议, 结合WebDav的众多客户端,可以将hdfs映射为windows或是linux的本地文件系统.而使用api存储文件时,也将对应用透明,如使用本地文件系统一样使用hdfs. 1.Webdav协议介绍: WebDAV(Web-based Distributed Authoring and Versioning)是基于 HTTP 1.1 的一个通信协议。它为 HTTP 1.1 添加了一些扩展(就是在 GET、POST、HEAD 等几个 HTTP 标准…

2012-03-22 14:17 · 云计算--hadoop · 评论(0)

hadoop集群崩溃恢复记录

一.崩溃原因 搭建的是一个hadoop测试集群,所以将数据备份参数设置为dfs.replication=1,这样如果有一台datanode损坏的话,数据 就会失去。但不幸的是,刚好就有一台机器由于负载过高,导致数据操坏。进而后面需要重启整个hadoop集群,重启后启动namenode启动不了。报如 下错误: Java代码 FSNamesystem initialization failed saveLeases found path /tmp/xxx/aaa.txt but no matching entry in namespace. FSNamesystem initialization…

2012-02-15 14:38 · 云计算--hadoop · 评论(0)