平安城市大数据集群安装
2016-01-05 14:12:34 0 举报AI智能生成
安装平安城市大数据集群
作者其他创作
大纲/内容
安装平安城市大数据集群
安装前准备
磁盘规划
\u00A0根据集群配置规划磁盘分区
U盘安装CentOS 6.X系统
配置ssh免密码登录
配置防火墙关闭
配置网卡自动启动
配置NTP时间同步服务
配置自动挂载到目录
配置集群/etc/hosts
针对业务场景对系统进行文件系统等方面的性能配置
尽量减少使用swap分区echo 'vm.swappiness=0' /etc/sysctl.conf
安装大数据管理平台(CM)
下载CM相关文件
CM相关安装文件放入Web容器
ngnix:/usr/share/nginx/html/
httpd:/var/www/html
CentOS6.5记得开启Web容器服务
制作私有Yum库repo文件
注意不要有Yum代理
vi /etc/selinux/config
安装postgresql84-8.4.22-1PGDG.rhel6.x86_64.rpmpostgresql84-libs-8.4.22-1PGDG.rhel6.x86_64.rpmpostgresql84-server-8.4.22-1PGDG.rhel6.x86_64.rpm
运行CM的安装bin文件
运行过程产生的日志:/var/log/cloudera-manager-installer
浏览器打开URL确认CM安装完成
http://wxcm:7180/cmf/home 账号:admin/admin
安装大数据组件集成包Parcel(CDH)
下载相应版本的CDHParcel包
注意:需要manifest.json
刷新几次CM自动发现刚才放入容器的Parcel包
CM里发现Parcel文件的路径默认
CM会下载-分配-应用Parcel包
耗时
启动需要的服务
配置HDFS的HA和HBase TimeOut等参数
安装SQL中间件(apache Phoenix)
将Phoenix的jar复制到HBase的lib下
/opt/cloudera/parcels/CDH/lib/hbase/lib/
根据业务建立表结构
create \u00A0table ...
建立索引
create index
命令行进入测试select语句和index(explain)是否可用
安装后配置性能调优
对 HBase 表进行压缩等
收藏
收藏
0 条评论
回复 删除
下一页
