一点一滴努力,满仓满谷收成

1 版本

postgres # SELECT version();
或
bash # psql --version

阅读全文…

1 环境
源端：postgresql 9.6.6
目标端: CDH 5.14.2 内置的hbase

2 sqoop-list-tables 报 “Could not load db driver class: org.postgresql.Driver”
从报错上看是缺少jdbc的jar包，在os上做了一下find发现CDH已经内置了，配到环境变量上就可以了。
环境变量添加类似这样一条：

export HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/jars/postgresql-9.1-901.jdbc4.jar:$HADOOP_CLASSPATH

测试：

 ./sqoop-list-tables --connect jdbc:postgresql://10.10.20.2:5432/qiuyb --username postgres -P
Warning: /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/bin/../lib/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
18/07/13 17:35:53 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.14.2
Enter password: 
18/07/13 17:35:56 INFO manager.SqlManager: Using default fetchSize of 1000
t1

qiuyb库下只有一张表名字为:t1

3 开通网络权限的时侯需要把hadoop整个集群连接pg都要开通,因为sqoop实际要做MR

4 数据从pg到hbase导入操作
1) sqoop import时在hbase中新建表，并插入数据

sqoop import -D sqoop.hbase.add.row.key=true --connect  jdbc:postgresql://10.10.20.2:5432/base --username postgres --password xxxxxx --table tt --columns id --hbase-create-table --hbase-table tt --column-family cf --hbase-row-key id 

2)带条件的插入新数据

sqoop import -D sqoop.hbase.add.row.key=true --connect  jdbc:postgresql://10.10.20.2:5432/base --username postgres --password xxxxxx --table tt --columns id  --hbase-table tt --column-family cf --hbase-row-key id --where "id > 1"

今年双十一，我知与行了一次，买了几台阿里云ECS服务器，有了独立的外网IP，开启了我的折腾生活
1 前言
postgres在9.0之后引入了主从的流复制机制，这点功能很像oracle的adg。在做本项实践之前，研究了好些pg的集群方案，这包括pgbouncer,bucardo,pl/proxy,pgpool,postgres-xl,总有这样那样不如意的地方，我个人更喜欢pg原生的方案。
阅读全文…

PostgreSQL使用源码安装配置

1 我的环境

[root@pgaa1 etc]# cat redhat-release
CentOS Linux release 7.4.1708 (Core)

服务器的环境最好能上网，不然不能用yum会是一个很抓狂的事。
阅读全文…