1 修改scan-ip
1)查看scan ip的状态信息
[grid@rac1 ~]$ srvctl config scan SCAN name: rac-cluster-scan, Network: 1/192.168.10.0/255.255.255.0/eth0 SCAN VIP name: scan1, IP: /rac-cluster-scan/192.168.10.130
问题：
我在python中train了一个XGBRegressor，怎么把它保存为本地文件，并且再调用呢？
答：
#训练
model = XGBRegressor()
model.fit(X, y)
#保存
from sklearn.externals import joblib
joblib.dump(model, ‘my_xgbregressor.pkl’)
#读取
model = joblib.load(‘my_xgbregressor.pkl’)
1 环境
源端：postgresql 9.6.6
目标端: CDH 5.14.2 内置的hbase
2 sqoop-list-tables 报 “Could not load db driver class: org.postgresql.Driver”
从报错上看是缺少jdbc的jar包，在os上做了一下find发现CDH已经内置了，配到环境变量上就可以了。
环境变量添加类似这样一条：
export HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/jars/postgresql-9.1-901.jdbc4.jar:$HADOOP_CLASSPATH
测试：
./sqoop-list-tables --connect jdbc:postgresql://10.10.20.2:5432/qiuyb --username postgres -P Warning: /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/bin/../lib/sqoop/../accumulo does not exist! Accumulo imports will fail. Please set $ACCUMULO_HOME to the root of your Accumulo installation. 18/07/13 17:35:53 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.14.2 Enter password: 18/07/13 17:35:56 INFO manager.SqlManager: Using default fetchSize of 1000 t1
qiuyb库下只有一张表名字为:t1
3 开通网络权限的时侯需要把hadoop整个集群连接pg都要开通,因为sqoop实际要做MR
4 数据从pg到hbase导入操作
1) sqoop import时在hbase中新建表，并插入数据
sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:postgresql://10.10.20.2:5432/base --username postgres --password xxxxxx --table tt --columns id --hbase-create-table --hbase-table tt --column-family cf --hbase-row-key id
2)带条件的插入新数据
sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:postgresql://10.10.20.2:5432/base --username postgres --password xxxxxx --table tt --columns id --hbase-table tt --column-family cf --hbase-row-key id --where "id > 1"
1 环境
1)主机名:pgpoola ip:10.10.20.10 角色:pgpool主机
2)主机名:pgaa1 ip:10.10.20.1 角色:pg库主结点
3)主机名:pgaa2 ip:10.10.20.2 角色:pg库从1结点
4)主机名:pgaa3 ip:10.10.20.3 角色:pg库从2结点
pgaa1/2/3是使用pg的hot_standy建的1主2从的流复制集群，集群已经建立
阅读全文…
1 postgis简介
百度百科这样说：
PostGIS是对象关系型数据库系统PostgreSQL的一个扩展，PostGIS提供如下空间信息服务功能:空间对象、空间索引、空间操作函数和空间操作符。同时，PostGIS遵循OpenGIS的规范。
PostGIS的版权被纳入到GNU的GPL中，也就是说任何人可以自由得到PostGIS的源码并对其做研究和改进。正是由于这一点，PostGIS得到了迅速的发展，越来越多的爱好者和研究机构参与到PostGIS的应用开发和完善当中。
阅读全文…
今年双十一，我知与行了一次，买了几台阿里云ECS服务器，有了独立的外网IP，开启了我的折腾生活
1 前言
postgres在9.0之后引入了主从的流复制机制，这点功能很像oracle的adg。在做本项实践之前，研究了好些pg的集群方案，这包括pgbouncer,bucardo,pl/proxy,pgpool,postgres-xl,总有这样那样不如意的地方，我个人更喜欢pg原生的方案。
阅读全文…
报这些错，例如1555并不是因为回滚段空间不够，原因在于LOB段的损坏,解决如下：
1 标识出哪一行的lob有坏
a、建个临时表
SQL> create table corrupt_lobs (corrupt_rowid rowid, err_num number);
PostgreSQL使用源码安装配置
1 我的环境
[root@pgaa1 etc]# cat redhat-release
CentOS Linux release 7.4.1708 (Core)
服务器的环境最好能上网，不然不能用yum会是一个很抓狂的事。
阅读全文…
近期评论