平安城市大数据集群安装
2016-01-05 14:12:34 0 举报AI智能生成
安装平安城市大数据集群
作者其他创作
大纲/内容
安装前准备
磁盘规划
根据集群配置规划磁盘分区
OS目录/var/lib,/var/log,/opt,/,LVM分区分别为:40%,20%,20%,20%(留30%左右以后备用);/boot 500MB单独分区
对其他整块硬盘/data/n/分区,以后挂载到HDFS上
U盘安装CentOS 6.X系统
系统安装之后对硬件(网卡),网络情况,SSH,NTP等配置,重启几遍确保没有问题
配置ssh免密码登录
配置防火墙关闭
配置网卡自动启动
配置NTP时间同步服务
配置自动挂载到目录
配置集群/etc/hosts
针对业务场景对系统进行文件系统等方面的性能配置
尽量减少使用swap分区
echo 'vm.swappiness=0' >> /etc/sysctl.conf
配置磁盘的 noatime
/etc/fstab
UUID=c6753960-8f47-4ce1-b89a-813ffcf105bc /var ext4 defaults,noatime 0 2
安装大数据管理平台(CM)
下载CM相关文件
CM相关安装文件放入Web容器
ngnix:/usr/share/nginx/html/
httpd:/var/www/html
CentOS6.5记得开启Web容器服务
制作私有Yum库repo文件
放入:/etc/yum.repos.d,把该目录下其他repo文件重命名
注意不要有Yum代理
Yum清除缓存,yum repolist
关闭SELinux,防火墙,安装PostgreSQL数据库等
vi /etc/selinux/config
安装
postgresql84-8.4.22-1PGDG.rhel6.x86_64.rpm
postgresql84-libs-8.4.22-1PGDG.rhel6.x86_64.rpm
postgresql84-server-8.4.22-1PGDG.rhel6.x86_64.rpm
运行CM的安装bin文件
运行过程产生的日志:/var/log/cloudera-manager-installer
浏览器打开URL确认CM安装完成
http://wxcm:7180/cmf/home 账号:admin/admin
安装大数据组件集成包Parcel(CDH)
下载相应版本的CDHParcel包
注意:需要manifest.json
放入Web容器对应目录,确认可以访问
刷新几次CM自动发现刚才放入容器的Parcel包
CM里发现Parcel文件的路径默认
CM会下载->分配->应用Parcel包
耗时
启动需要的服务
Hbase,MR,ZK,HDFS,YARN
注意各个服务的角色分配,服务角色不要分配到CM那台机器
配置HDFS的HA和HBase TimeOut等参数
安装SQL中间件(apache Phoenix)
将Phoenix的jar复制到HBase的lib下
/opt/cloudera/parcels/CDH/lib/hbase/lib/
根据业务建立表结构
create table ...
建立索引
create index
测试保证数据可以新增,查询,使用索引
命令行进入测试select语句和index(explain)是否可用
安装后配置性能调优
对 HBase 表进行压缩等
收藏
收藏
0 条评论
下一页
