Chen Sheng - 数据库与项目应用

sqlplus 使用摘录

crazycs@163.com (cs) — Tue, 14 Apr 2009 13:23:19 +0800

当sql语句中有&(and)符号时，直接执行sql语句是不行的，如select 'a&' from dual,这时在sqlplus >set def off 即可

subversion服务器使用笔记

crazycs@163.com (cs) — Tue, 24 Mar 2009 12:40:53 +0800

原来一直主要用sourcesafe，其实蛮好用的。只是这个东东天生缺陷大，要么用共享文件夹---极为不爽，要么就得用http--速度极慢，不知是不是我们项目太大---，而且还占用一个网站。
于是弄一个subversion 服务器，我原来都是在本机使用subversion没怎么关注用户与权限控制。
这里是subversion服务器安装管理笔记,btw svnbook.pdf 实在够厚，400多页，不容易读通。

要使用subversion最少需要二个软件

TortoiseSVN 我最新下载的是TortoiseSVN-1.5.8.15348-win32-svn-1.5.5.msi，不过又好象出1.6了这是客户端软件，同时还可以管理
服务器端我用的是CollabNetSubversion-server-1.5.6-2.win32.exe

安装其实很简单：
首先安装CollabNetSubversion-server-1.5.6-2.win32.exe
1）要注意几点，你需要设置好你的svn仓库目录，如d:\data\svn_repository，端口默认3690
2)一般而言，你可以不安装apache，这东东对于我来说，还用不上，也不愿意用(http访问速度慢），干脆就不用装了

安装完成后，你到windows服务管理中可以找到subversion服务，启动他，你可以看到他的命令行可能如下：
"d:\soft\CollabNetSubversionServer\svnserve.exe" --service -r "d:\data\svn_repository" --listen-port "3690"

3)安装好TortoiseSVN。

4）下面是我的使用惯例

a）打开d:\data\svn_repository
b)建立一个目录，如“某某项目“，这里我们用代号"project_a"，当然目录可以是中文名也可以是英文名。
建立一个目录，如”某工程“，这里我们用代号“prj_b"

到目录 d:\data\svn_repository\project_a ，点右键，使用 TortoiseSVN 的“create repository here"
到目录 d:\data\svn_repository\某工程点右键，使用 TortoiseSVN 的“create repository here"

这样我们就已经创建了二个项目

用
svn://localhost/project_a （或svn://ip地址/project_a）及 svn://localhost/某工程你就会发现已经有二个svn可以管理的仓库了。
当然你可以试一个 svn://localhost/ 你就会发现提示“No repository found in ..."

c)在目录d:\data\svn_repository 创建一个passwd
内容为
[users]
usera=passwd-a
userb=passwd-b
d)在目录d:\data\svn_repository创建文件：svnserve.conf
内容为

[general]
anon-access =none
auth-access = write
password-db = ../../passwd
authz-db = authz

并将其分别复制到
d:\data\svn_repository\某工程\conf 及d:\data\svn_repository\project_a\conf 目录（覆盖文件）

e)修改d:\data\svn_repository\project_a\conf\authz 文件
内容
[/]
usera=rw
*=
f)修改d:\data\svn_repository\某工程\conf\authz 文件
内容
[/]
userb=rw
*=

这样你就会发现
usera只能读写 project_a
而userb只能读写"某工程“

总结：
这样做的目的
1）必须要有密码与用户名才可以读写
2）所有项目的用户与密码都由同一个文件管理
3）不同的项目及目录都可以设置不同的用户及相应的权限

利用centos 安装文件(iso)升级到新版本

crazycs@163.com (cs) — Mon, 12 May 2008 14:03:30 +0800

利用CentOS的DVD安装文件本地更新现有的Centos，速度非常快。

1 将CentOS-4.6-x86_64-binDVD.iso 下载到一个目录
(因为有多台机器需要升级，可以采用nfs)
2 mkdir /mnt/iso
3 mount -t iso9660 -o loop CentOS-4.6-x86_64-binDVD.iso /mnt/iso
4 修改/etc/yum.repos.d/CentOS-Base.repo
将所有mirrorlist改成baseurl=file:///mnt/iso/
5 将gpgcheck=1 改成gpgcheck=0
6 yum remove srptools
(上面那步解决：Error: Missing Dependency: kernel-ib is needed by package srptools）
7 yum upgrade

8 一路选择yes
9 最后# cat /etc/redhat-release
>CentOS release 4.6 (Final)

初步升级完成

SQLite的原子提交原理

crazycs@163.com (cs) — Tue, 29 Jan 2008 13:04:11 +0800

本文描述了

详情参见：SQLite的原子提交原理

linux 与磁盘阵列折腾笔记

crazycs@163.com (cs) — Tue, 31 Jul 2007 12:27:33 +0800

上周数据导了12小时.

上上周一直在折腾一个旧磁盘阵列.

在RedHat AS4.0 上面倒是轻松就可以找到这个阵列.只是开始的时候出了点麻烦.

我为这个阵列的每个通道都映射了二个分区.折腾许久之后,发现安装的Linux只认识一个分区.

打电话问磁盘阵列厂家的技术人员,没有什么结果,显然,他没遇上这样的事情.

最后自己找到了解决办法:

然后reboot就ok了.

最后用: fdisk -l

Disk /dev/sda: 1689.5 GB, 1689549537280 bytes
Disk /dev/sdb: 1830.3 GB, 1830348128256 bytes
Disk /dev/sdc: 1689.5 GB, 1689549537280 bytes
Disk /dev/sdd: 1830.3 GB, 1830348128256 bytes

显然 sda与sdc是重复的,sdb与sdd 是重复的.这我不知道如何处理了,在windows 2003中也显示有四个磁盘.不管他了.

最后在我把这个东东折腾好之后,竟然在redhat的网站上找到了相关资料,晕.谁让我对linux投入太少.顺便把url记一

如何使红帽企业Linux4支持多LUN?

http://www.redhat.com.cn/kbase/5583.php

最后要讲一下的是我折腾XManager的事情.其实把Xmanager用起来不麻烦.麻烦的是我在.bash_profile

设置了 DISPLAY=a.b.c.d:0

这一个设置害得我花了太多时间,对于XManager来说,完全是画蛇添足.

1.[root@hot158 ~]# uname -a

Linux hot158 2.6.9-42.ELsmp #1 SMP Tue Aug 15 10:35:26 BST 2006 x86_64 x86_64 x86_64 GNU/Linux

2.[root@hot158 ~]# cp /boot/initrd-2.6.9-42.ELsmp.img /boot/initrd-2.6.9-42.ELsmp.old

3.添加以下内容到/etc/modprobe.conf

options scsi_mod max_luns=xxx

(xxx是scsi_mod需要支持LUN的数目，如255)

4. 为了使修改有效，创建启动内存磁盘

mkinitrd -f /boot/initrd-2.6.9-42.ELsmp.img 2.6.9-42.ELsmp

-=========================

Xmanager:
1. /etc/X11/xdm/Xaccess 文件，去掉这行的注释。
# * #any host can get a login windows"
2.

#vi /etc/X11/xdm/xdm-config

在最后一行： DisplayManager.requestPort: 0 前面加！号注释掉此行。

#vi /etc/X11/xdm/Xservers

在最后一行：:0 local /usr/X11R6/bin/X 前面加#号注释掉这一行。
3. /etc/X11/gdm/gdm.conf文件，
[xdmcp]部分，把enable 改为 true
4. /etc/kde/kdm/kdmrc文件，
[Xdmcp]部分，把enable 改为 true
5. /etc/inittab 修改运行级别为5 (X11) ，如果为3的话，你看到的将不是桌面，而是命令行窗口。
6. 防火墙增加177端口
7. reboot

如果想要每次启动自动启动xdm，那么请在/etc/rc.d/rc.local文件尾部加入/etc/X11R6/bin/xdm

oracle 位操作函数

crazycs@163.com (cs) — Mon, 18 Jun 2007 11:25:43 +0800

其实位操作对于oracle数据类型来说,有些格格不入.故oracle本来就没有提供位操作符.

create function bitor(p_dec1 number, p_dec2 number) return number is
begin
return p_dec1-bitand(p_dec1,p_dec2)+p_dec2;
end;

create function bitxor(p_dec1 number, p_dec2 number) return number is
begin
return bitor(p_dec1,p_dec2)-bitand(p_dec1,p_dec2);
-- or you could use: return p_dec1-2*bitand(p_dec1,p_dec2)+p_dec2;
end;

oracle 笔记

crazycs@163.com (cs) — Tue, 05 Jun 2007 11:39:41 +0800

关于sqlplus的配置

1)where sqlplus

>e:\oracle\ora81\bin\SQLPLUS.EXE

2)编辑e:\oracle\ora81\sqlplus\glogin.sql

将要保存的选项，如
set serveroutput on size 1000000
增加到文件尾。不用担心写错了，如果写错了，在打开sqlplus之后，有提示的。

在sqlplus中输入show all显示所有设置。

flash_recovery_area

今天那狂建了无数个表。结果数据库又出错了。

sqlplus system as sysdba

select * from v$log;

发现所有日志都"no"

select * from v$recovery_file_dest;

发现用完了。

ok。

alter system set DB_RECOVERY_FILE_DEST_SIZE=40G;

得自动设定自备份，删除归档日志。

http://www.itpub.net/466189.html

8i、9i、10g中更改数据库到归档模式

1）8i
SVRMGR> connect internal/oracle@dzdb
连接成功。
SVRMGR> startup mount pfile='D:\oracle\admin\cbsdb\pfile\init.ora'
已启动 ORACLE 实例。
系统全局区域合计有 44873676个字节
Fixed Size 65484个字节
Variable Size 20103168个字节
Database Buffers 24631296个字节
Redo Buffers 73728个字节
已装入数据库。
(注：startup mount
pfile='D:\oracle\admin\cbsdb\pfile\init.ora是因为本机有多个数据库，不指定pfile，mount时，报ora-01102错误)
SVRMGR> alter database archivelog;
语句已处理。
SVRMGR> archive log start;
语句已处理。
SVRMGR> alter database open;
语句已处理。
SVRMGR> shutdown
已关闭数据库。
已卸下数据库。
已关闭 ORACLE 实例。
修改数据库参数文件D:\Oracle\admin\cbsdb\pfile\init.ora，
取消以下语句的#注释
log_archive_start = true
log_archive_dest_1 = "location=D:\Oracle\oradata\cbsdb\archive"
log_archive_format = %%ORACLE_SID%%T%TS%S.ARC
SVRMGR> startup pfile='D:\oracle\admin\cbsdb\pfile\init.ora'
已启动 ORACLE 实例。
系统全局区域合计有 44873676个字节
Fixed Size 65484个字节
Variable Size 20103168个字节
Database Buffers 24631296个字节
Redo Buffers 73728个字节
已装入数据库。
已打开数据库。
SVRMGR> archive log list
数据库记录模式存档模式
自动存档已启用
存档路径 d:\Oracle\oradata\cbsdb\archive
最旧的联机日志顺序 1247
要存档的下一个记录顺序 1250
当前记录顺序 1250

2）9i
SQL> archive log list
数据库日志模式非存档模式
自动存档禁用
存档终点 F:\oracle\ora92\RDBMS
最早的概要日志序列 114
当前日志序列 116
SQL> alter system set log_archive_dest='F:\oracle\oradata\arch'
scope=spfile;

系统已更改。

SQL> alter system set log_archive_start=true scope=spfile;

系统已更改。

SQL> shutdown
数据库已经关闭。
已经卸载数据库。
ORACLE 例程已经关闭。
SQL> startup mount
ORACLE 例程已经启动。

Total System Global Area 386997388 bytes
Fixed Size 453772 bytes
Variable Size 167772160 bytes
Database Buffers 218103808 bytes
Redo Buffers 667648 bytes
数据库装载完毕。
SQL> alter database archivelog;

数据库已更改。

SQL> alter database open;

数据库已更改。

SQL> archive log list
数据库日志模式存档模式
自动存档启用
存档终点 F:\oracle\oradata\arch
最早的概要日志序列 114
下一个存档日志序列 116
当前日志序列 116

3)10g
对于初始化文件,只需要修改log_archive_dest_n 这个参数.
log_archive_dest_1="location=D:\oracle\product\10.1.0\oradata\archive"

SQL> archive log list
数据库日志模式非存档模式
自动存档禁用
存档终点 D:\oracle\product\10.1.0\db_1\RDBMS
最早的联机日志序列 127
当前日志序列 129
SQL> shutdown
数据库已经关闭。
已经卸载数据库。
ORACLE 例程已经关闭。
SQL> startup mount pfile='D:\oracle\product\10.1.0\admin\cbsdb\pfile\init.ora'
ORACLE 例程已经启动。

Total System Global Area 134217728 bytes
Fixed Size 787808 bytes
Variable Size 49281696 bytes
Database Buffers 83886080 bytes
Redo Buffers 262144 bytes
数据库装载完毕。
SQL> alter database archivelog;

数据库已更改。

SQL> alter database open;

数据库已更改。

SQL> archive log list
数据库日志模式存档模式
自动存档启用
存档终点 D:\oracle\product\10.1.0\oradata\archive
最早的联机日志序列 127
下一个存档日志序列 129
当前日志序列 129

oracle 回收站：

session级别:
ALTER SESSION SET recyclebin = OFF;
instance级别:
ALTER SYSTEM SET recyclebin = OFF;

ora-01113

ora-01113:文件19需要介质恢复
ora-01110:数据文件19：'/oracle/oradate/hot1/news01.dbf‘

给发了三条命令让执行：

startup mount;
recover datafile filename;
alter database open;
or recover automatic
recover database

PostgreSQL编码tips

crazycs@163.com (cs) — Fri, 01 Jun 2007 13:13:21 +0800

今天折腾用vc6联接postgre sql 8.2。为了简化起见，不直接使用libpq c api来开发。

我首先试用了oledb 驱动，问题多多

立即换成使用odbc。

初步工作正常：

针对int/bigint/vchar/timespam 的读写都正常。

针对bytea类型时出错。

经过琢磨，找出了解决办法

1）打开odbc源配置器，在选项--DataSource，第二页，选中：bytea as LO 。这是因为LO类型已经被抛弃了。

作出如上修改之后，如果数据长度小于8002则一切正常，如果大于8002则又会出现一个错误：

WARNING: nonstandard use of \\ in a string literal at character

出现这个警告的原因是，新版本的postgre已经使用E来escape 字符，而odbc驱动程序还是采用\，我不知道如何修改。

只好打开服务器的

postgresql.conf

增加配置：

escape_string_warning = off

backslash_quote=on

这样，则使用ado 调用getchunk /appendchun都一切正常。

Mysql与Postgresql数据性能比较（转）

crazycs@163.com (cs) — Thu, 31 May 2007 14:20:40 +0800

Mysql与Postgresql数据性能比较

数据量今后会很大/你无法预测数据量会多大，建议换postgresql.

mysql 在一定量数据后(一般观点是 mysql 单表 200-300万时性能最好，数据再多性能就开始下降)，性能下降很快，且大数据量情况下，mysql 稳定性/数据可靠性是问题。

postgresql 8.2 的官方说明如下：

http://www.postgresql.org/about/

QUOTE:

Limit Value
Maximum Database Size Unlimited
Maximum Table Size 32 TB
Maximum Row Size 1.6 TB
Maximum Field Size 1 GB
Maximum Rows per Table Unlimited
Maximum Columns per Table 250 - 1600 depending on column types
Maximum Indexes per Table Unlimited

mysql 目前只是适合跑 web 应用，对于海量数据存储、数据仓库不合适。

postgresql 在国内早有人做大型商业应用。

QUOTE:

对于大型应用，PostgreSQL 还是合适的。以下是PostgreSQL 中文官方手册维护者何伟平 laser 对于一个大型应用的回复：

QUOTE:

怎么说呢，实际上，我现在手头就有一个庞大的数据库，
数据＋索引已经超过500G了，数据总量超过30亿行数据，
每天会忙12小时左右。

基本上，我觉得，首先：
检查你的IO投资，不要在硬盘上吝啬。
第二，仔细分析自己的瓶颈是什么，
很多事后，我们并不一定需要database replicate。
第三，适当使用数据的切割。

简单归结一句话：
适当的硬件投资和规划加上合适的软件结构。
具体的事情需要具体分析。

介绍一下我们那个500G的大库：
单机HP DL385，16G内存和6块SCSI磁盘，20块SATA磁盘盘阵，
盘阵是HP DL320S，（MSA1500），相当便宜。
我们的构造是SCSI是RAID5，跑XFS，SATA，RAID5，跑EXT3，
目前，性能非常满意（我们的角度），有些update语句，一次
会更新几百万行数据，那么我们有些程序，一天要更新几十次，
基本上也可以在1000s之内完成。每天vacuum一次，在低负载的
时段，大概需要120min~200min，用slony做数据的备份，备份
到一台大硬盘的IDE机器上（1.5T硬盘，别惊讶，现在750G硬盘
才3500块钱。）。
这台机器是数据挖掘的，并发数不多，所以我们没有做负载方面
的均衡。

有问题可以继续讨论。

测试,mysql vs postgresql

QUOTE:

Mysql 不适应大量数据，密集运算，重型负载应用。

至少在目前，开源数据库的质量还不能与商业数据抗衡。

在 2006-11-29 有个国外第3方服务器机构(Tweakers.net)做的 Mysql 4.1.20 ,Mysql 5.1.20a 与 PostgreSQL 8.2 的对比性能测试(在不同档次配置的机器上运行). 你可以参考.
Posted by fsluiter@gmail.com

Tweakers.net, a dutch community of online tweakers, benchmarked their potential new server with PostgreSQL 8.2 vs several versions of MySQL 4.1.20 and MySQL 5.1.20a

图文测试统计报告：
http://tweakers.net/reviews/657/6

QUOTE:

如果要求更高，推荐使用性能优异的 bizgres 集群。

参考:
http://bbs.chinaunix.net/viewthr ... page%3D1&page=1

QUOTE:

2亿的单表，slect crount(*) from table; 来全表扫描。

同配置单主机硬件: 内存8G，每台机器是两个双核的AMD86.磁盘Raid0+1

Oracle 10g用了50秒，postgresql的普通集群用来一分40秒.

改用Bizgers 这个 PostgreSQL 高性能集群(使用)后，速度是 Oracle 的4倍。

mysql超过1亿行慢得和蜗牛一样。