月度归档:2012 年九月

Bash Shell 判断进程存在的3种方法

bash版本:
GNU bash, version 3.2.48(1)-release (i486-pc-linux-gnu)
Copyright (C) 2007 Free Software Foundation, Inc.
假设当前系统中的进程有如下几个:
$ ps -ef
UID PID PPID C STIME TTY TIME CMD
root 3480 1 0 07:57 ? 00:00:00 /usr/sbin/bluetoothd
root 2425 1 0 07:56 ? 00:00:00 /bin/sh /usr/bin/mysqld_safe
syslog 2272 1 0 07:56 ? 00:00:00 /sbin/syslogd -u syslog
root 2147 1 0 07:56 tty4 00:00:00 /sbin/getty 38400 tty4
root 2148 1 0 07:56 tty5 00:00:00 /sbin/getty 38400 tty5
root 2154 1 0 07:56 tty2 00:00:00 /sbin/getty 38400 tty2
root 2156 1 0 07:56 tty3 00:00:00 /sbin/getty 38400 tty3
root 2157 1 0 07:56 tty6 00:00:00 /sbin/getty 38400 tty6
root 3255 1 0 07:57 ? 00:00:00 /usr/sbin/vsftpd
……
这里我们检测vsftpd进程的存在与否
方法一:使用ps -p命令
ps -p命令根据给定的pid参数判断是否有这个进程,如果有这个进程正常退出,退出值0。如果没有这个进程异常退出,退出值1。
例如:
$ ps -p 3255
PID TTY TIME CMD
3255 ? 00:00:00 vsftpd
$ echo $?
0
$ ps -p 3000
PID TTY TIME CMD
$ echo $?
1
方法二:使用pgrep命令
pgrep命令根据给出的进程名判断是否有这个名字的进程。如果有这个名字的进程正常退出,退出值0。如果没有这个名字的进程异常退出,退出值1。
例如:
$ pgrep vsftpd
3255
$ echo $?
0
$ pgrep qq
$ echo $?
1
此方法不够准确,比如你执行 $ pgrep vsf 一样可以查询到3255。
方法三:查看/proc目录
每个进程都会在/proc下有一个以进程PID命名的目录。
例如:
$ ls /proc/3255/
ls: 无法读取符号链接 /proc/3255/cwd: Permission denied
ls: 无法读取符号链接 /proc/3255/root: Permission denied
ls: 无法读取符号链接 /proc/3255/exe: Permission denied
attr cpuset io mountinfo pagemap smaps wchan
auxv cwd latency mounts personality stat
cgroup environ limits mountstats root statm
clear_refs exe loginuid net sched status
cmdline fd maps oom_adj schedstat syscall
coredump_filter fdinfo mem oom_score sessionid task
$ ls /proc/3000
ls: 无法访问 /proc/3000: 没有该文件或目录
可以根据上面的事例,编写shell脚本判断一个进程存在与否。下面以方法二和三编写脚本,方法一类似。
脚本一:
#!/bin/bash
if [ -z $1 ]
then
echo “需要参数”
exit 1
fi

if test $( pgrep -f $1 | wc -l ) -eq 0
then
echo “进程不存在”
else
echo “存在进程”
fi
脚本二:
#!/bin/bash
if [ -z $1 ]
then
echo “需要进程PID”
exit 1
fi

if [ -d /proc/$1 ];then
echo “存在此进程”
else
echo “进程不错在”
fi

php正则表达式获取所有页面链接

[php]
<?php
$s = ‘<div class=\’tdgshid\’><a href=/geshou/2711.htm>凤凰传奇</a></div></td><td><div class=\’tdgshid\’><a href="/geshou/6931.htm">冷漠</a></div></td><td><div class=\’tdgshid\’><a href="http://www.nengzuo.com/test/7192.htm">高安</a></div><a href=\’http://www.nengzuo.com/test/7111.htm\’>php</a>’;
if (preg_match_all ( "/<a .*?href=[\"']{0,1}(.[^>]+)[\"']{0,1}.*?>(.*?)<\/a>/i", $s, $matches )) {
var_dump($matches);
}
[/php]

php操作redis

phpredis是php的一个扩展,效率是相当高有链表排序功能,对创建内存级的模块业务关系
很有用;以下是redis官方提供的命令使用技巧:
下载地址如下:
https://github.com/owlient/phpredis(支持redis 2.0.4)

Redis::__construct构造函数
$redis = new Redis();

connect, open 链接redis服务
参数
host: string,服务地址
port: int,端口号
timeout: float,链接时长 (可选, 默认为 0 ,不限链接时间)
注: 在redis.conf中也有时间,默认为300

pconnect, popen 不会主动关闭的链接
参考上面

setOption 设置redis模式

getOption 查看redis设置的模式

ping 查看连接状态

get 得到某个key的值(string值)
如果该key不存在,return false

set 写入key 和 value(string值)
如果写入成功,return ture

setex 带生存时间的写入值
$redis->setex(‘key’, 3600, ‘value’); // sets key → value, with 1h TTL.

setnx 判断是否重复的,写入值
$redis->setnx(‘key’, ‘value’);
$redis->setnx(‘key’, ‘value’);

delete 删除指定key的值
返回已经删除key的个数(长整数)
$redis->delete(‘key1′, ‘key2′);
$redis->delete(array(‘key3′, ‘key4′, ‘key5′));

ttl
得到一个key的生存时间

persist
移除生存时间到期的key
如果key到期 true 如果不到期 false

mset (redis版本1.1以上才可以用)
同时给多个key赋值
$redis->mset(array(‘key0′ => ‘value0′, ‘key1′ => ‘value1′));

multi, exec, discard
进入或者退出事务模式
参数可选Redis::MULTI或Redis::PIPELINE. 默认是 Redis::MULTI
Redis::MULTI:将多个操作当成一个事务执行
Redis::PIPELINE:让(多条)执行命令简单的,更加快速的发送给服务器,但是没有任何原子性的保证
discard:删除一个事务
返回值
multi(),返回一个redis对象,并进入multi-mode模式,一旦进入multi-mode模式,以后调用的所有方法都会返回相同的对象,只到exec()方法被调用。

watch, unwatch (代码测试后,不能达到所说的效果)
监测一个key的值是否被其它的程序更改。如果这个key在watch 和 exec (方法)间被修改,这个 MULTI/EXEC 事务的执行将失败(return false)
unwatch 取消被这个程序监测的所有key
参数,一对key的列表
$redis->watch(‘x’);

$ret = $redis->multi() ->incr(‘x’) ->exec();

subscribe *
方法回调。注意,该方法可能在未来里发生改变

publish *
发表内容到某一个通道。注意,该方法可能在未来里发生改变

exists
判断key是否存在。存在 true 不在 false

incr, incrBy
key中的值进行自增1,如果填写了第二个参数,者自增第二个参数所填的值
$redis->incr(‘key1′);
$redis->incrBy(‘key1′, 10);

decr, decrBy
做减法,使用方法同incr

getMultiple
传参
由key组成的数组
返回参数
如果key存在返回value,不存在返回false
$redis->set(‘key1′, ‘value1′); $redis->set(‘key2′, ‘value2′); $redis->set(‘key3′, ‘value3′); $redis->getMultiple(array(‘key1′, ‘key2′, ‘key3′));
$redis->lRem(‘key1′, ‘A’, 2);
$redis->lRange(‘key1′, 0, -1);

list相关操作
lPush
$redis->lPush(key, value);
在名称为key的list左边(头)添加一个值为value的 元素

rPush
$redis->rPush(key, value);
在名称为key的list右边(尾)添加一个值为value的 元素

lPushx/rPushx
$redis->lPushx(key, value);
在名称为key的list左边(头)/右边(尾)添加一个值为value的元素,如果value已经存在,则不添加

lPop/rPop
$redis->lPop(‘key’);
输出名称为key的list左(头)起/右(尾)起的第一个元素,删除该元素

blPop/brPop
$redis->blPop(‘key1′, ‘key2′, 10);
lpop命令的block版本。即当timeout为0时,若遇到名称为key i的list不存在或该list为空,则命令结束。如果timeout>0,则遇到上述情况时,等待timeout秒,如果问题没有解决,则对keyi+1开始的list执行pop操作

lSize
$redis->lSize(‘key’);
返回名称为key的list有多少个元素

lIndex, lGet
$redis->lGet(‘key’, 0);
返回名称为key的list中index位置的元素

lSet
$redis->lSet(‘key’, 0, ‘X’);
给名称为key的list中index位置的元素赋值为value

lRange, lGetRange
$redis->lRange(‘key1′, 0, -1);
返回名称为key的list中start至end之间的元素(end为 -1 ,返回所有)

lTrim, listTrim
$redis->lTrim(‘key’, start, end);
截取名称为key的list,保留start至end之间的元素

lRem, lRemove
$redis->lRem(‘key’, ‘A’, 2);
删除count个名称为key的list中值为value的元素。count为0,删除所有值为value的元素,count>0从头至尾删除count个值为value的元素,count<0从尾到头删除|count|个值为value的元素

lInsert
在名称为为key的list中,找到值为pivot 的value,并根据参数Redis::BEFORE | Redis::AFTER,来确定,newvalue 是放在 pivot 的前面,或者后面。如果key不存在,不会插入,如果 pivot不存在,return -1
$redis->delete(‘key1′); $redis->lInsert(‘key1′, Redis::AFTER, ‘A’, ‘X’); $redis->lPush(‘key1′, ‘A’); $redis->lPush(‘key1′, ‘B’); $redis->lPush(‘key1′, ‘C’); $redis->lInsert(‘key1′, Redis::BEFORE, ‘C’, ‘X’);
$redis->lRange(‘key1′, 0, -1);
$redis->lInsert(‘key1′, Redis::AFTER, ‘C’, ‘Y’);
$redis->lRange(‘key1′, 0, -1);
$redis->lInsert(‘key1′, Redis::AFTER, ‘W’, ‘value’);

rpoplpush
返回并删除名称为srckey的list的尾元素,并将该元素添加到名称为dstkey的list的头部
$redis->delete(‘x’, ‘y’);
$redis->lPush(‘x’, ‘abc’); $redis->lPush(‘x’, ‘def’); $redis->lPush(‘y’, ’123′); $redis->lPush(‘y’, ’456′); // move the last of x to the front of y. var_dump($redis->rpoplpush(‘x’, ‘y’));
var_dump($redis->lRange(‘x’, 0, -1));
var_dump($redis->lRange(‘y’, 0, -1));

string(3) “abc”
array(1) { [0]=> string(3) “def” }
array(3) { [0]=> string(3) “abc” [1]=> string(3) “456″ [2]=> string(3) “123″ }

SET操作相关
sAdd
向名称为key的set中添加元素value,如果value存在,不写入,return false
$redis->sAdd(key , value);

sRem, sRemove
删除名称为key的set中的元素value
$redis->sAdd(‘key1′ , ‘set1′);
$redis->sAdd(‘key1′ , ‘set2′);
$redis->sAdd(‘key1′ , ‘set3′);
$redis->sRem(‘key1′, ‘set2′);

sMove
将value元素从名称为srckey的集合移到名称为dstkey的集合
$redis->sMove(seckey, dstkey, value);

sIsMember, sContains
名称为key的集合中查找是否有value元素,有ture 没有 false
$redis->sIsMember(key, value);

sCard, sSize
返回名称为key的set的元素个数

sPop
随机返回并删除名称为key的set中一个元素

sRandMember
随机返回名称为key的set中一个元素,不删除

sInter
求交集

sInterStore
求交集并将交集保存到output的集合
$redis->sInterStore(‘output’, ‘key1′, ‘key2′, ‘key3′)

sUnion
求并集
$redis->sUnion(‘s0′, ‘s1′, ‘s2′);
s0,s1,s2 同时求并集

sUnionStore
求并集并将并集保存到output的集合
$redis->sUnionStore(‘output’, ‘key1′, ‘key2′, ‘key3′);

sDiff
求差集

sDiffStore
求差集并将差集保存到output的集合

sMembers, sGetMembers
返回名称为key的set的所有元素

sort
排序,分页等
参数
‘by’ => ‘some_pattern_*’,
‘limit’ => array(0, 1),
‘get’ => ‘some_other_pattern_*’ or an array of patterns,
‘sort’ => ‘asc’ or ‘desc’,
‘alpha’ => TRUE,
‘store’ => ‘external-key’
例子
$redis->delete(‘s’); $redis->sadd(‘s’, 5); $redis->sadd(‘s’, 4); $redis->sadd(‘s’, 2); $redis->sadd(‘s’, 1); $redis->sadd(‘s’, 3);
var_dump($redis->sort(‘s’)); // 1,2,3,4,5
var_dump($redis->sort(‘s’, array(‘sort’ => ‘desc’))); // 5,4,3,2,1
var_dump($redis->sort(‘s’, array(‘sort’ => ‘desc’, ‘store’ => ‘out’))); // (int)5

string命令
getSet
返回原来key中的值,并将value写入key
$redis->set(‘x’, ’42′);
$exValue = $redis->getSet(‘x’, ‘lol’); // return ’42′, replaces x by ‘lol’
$newValue = $redis->get(‘x’)’ // return ‘lol’

append
string,名称为key的string的值在后面加上value
$redis->set(‘key’, ‘value1′);
$redis->append(‘key’, ‘value2′);
$redis->get(‘key’);

getRange (方法不存在)
返回名称为key的string中start至end之间的字符
$redis->set(‘key’, ‘string value’);
$redis->getRange(‘key’, 0, 5);
$redis->getRange(‘key’, -5, -1);

setRange (方法不存在)
改变key的string中start至end之间的字符为value
$redis->set(‘key’, ‘Hello world’);
$redis->setRange(‘key’, 6, “redis”);
$redis->get(‘key’);

strlen
得到key的string的长度
$redis->strlen(‘key’);

getBit/setBit
返回2进制信息

zset(sorted set)操作相关
zAdd(key, score, member):向名称为key的zset中添加元素member,score用于排序。如果该元素已经存在,则根据score更新该元素的顺序。
$redis->zAdd(‘key’, 1, ‘val1′);
$redis->zAdd(‘key’, 0, ‘val0′);
$redis->zAdd(‘key’, 5, ‘val5′);
$redis->zRange(‘key’, 0, -1); // array(val0, val1, val5)

zRange(key, start, end,withscores):返回名称为key的zset(元素已按score从小到大排序)中的index从start到end的所有元素
$redis->zAdd(‘key1′, 0, ‘val0′);
$redis->zAdd(‘key1′, 2, ‘val2′);
$redis->zAdd(‘key1′, 10, ‘val10′);
$redis->zRange(‘key1′, 0, -1); // with scores $redis->zRange(‘key1′, 0, -1, true);

zDelete, zRem
zRem(key, member) :删除名称为key的zset中的元素member
$redis->zAdd(‘key’, 0, ‘val0′);
$redis->zAdd(‘key’, 2, ‘val2′);
$redis->zAdd(‘key’, 10, ‘val10′);
$redis->zDelete(‘key’, ‘val2′);
$redis->zRange(‘key’, 0, -1);

zRevRange(key, start, end,withscores):返回名称为key的zset(元素已按score从大到小排序)中的index从start到end的所有元素.withscores: 是否输出socre的值,默认false,不输出
$redis->zAdd(‘key’, 0, ‘val0′);
$redis->zAdd(‘key’, 2, ‘val2′);
$redis->zAdd(‘key’, 10, ‘val10′);
$redis->zRevRange(‘key’, 0, -1); // with scores $redis->zRevRange(‘key’, 0, -1, true);

zRangeByScore, zRevRangeByScore
$redis->zRangeByScore(key, star, end, array(withscores, limit ));
返回名称为key的zset中score >= star且score <= end的所有元素

zCount
$redis->zCount(key, star, end);
返回名称为key的zset中score >= star且score <= end的所有元素的个数

zRemRangeByScore, zDeleteRangeByScore
$redis->zRemRangeByScore(‘key’, star, end);
删除名称为key的zset中score >= star且score <= end的所有元素,返回删除个数

zSize, zCard
返回名称为key的zset的所有元素的个数

zScore
$redis->zScore(key, val2);
返回名称为key的zset中元素val2的score

zRank, zRevRank
$redis->zRevRank(key, val);
返回名称为key的zset(元素已按score从小到大排序)中val元素的rank(即index,从0开始),若没有val元素,返回“null”。zRevRank 是从大到小排序

zIncrBy
$redis->zIncrBy(‘key’, increment, ‘member’);
如果在名称为key的zset中已经存在元素member,则该元素的score增加increment;否则向集合中添加该元素,其score的值为increment

zUnion/zInter
参数
keyOutput
arrayZSetKeys
arrayWeights
aggregateFunction Either “SUM”, “MIN”, or “MAX”: defines the behaviour to use on duplicate entries during the zUnion.
对N个zset求并集和交集,并将最后的集合保存在dstkeyN中。对于集合中每一个元素的score,在进行AGGREGATE运算前,都要乘以对于的WEIGHT参数。如果没有提供WEIGHT,默认为1。默认的AGGREGATE是SUM,即结果集合中元素的score是所有集合对应元素进行SUM运算的值,而MIN和MAX是指,结果集合中元素的score是所有集合对应元素中最小值和最大值。

Hash操作
hSet
$redis->hSet(‘h’, ‘key1′, ‘hello’);
向名称为h的hash中添加元素key1—>hello

hGet
$redis->hGet(‘h’, ‘key1′);
返回名称为h的hash中key1对应的value(hello)

hLen
$redis->hLen(‘h’);
返回名称为h的hash中元素个数

hDel
$redis->hDel(‘h’, ‘key1′);
删除名称为h的hash中键为key1的域

hKeys
$redis->hKeys(‘h’);
返回名称为key的hash中所有键

hVals
$redis->hVals(‘h’)
返回名称为h的hash中所有键对应的value

hGetAll
$redis->hGetAll(‘h’);
返回名称为h的hash中所有的键(field)及其对应的value

hExists
$redis->hExists(‘h’, ‘a’);
名称为h的hash中是否存在键名字为a的域

hIncrBy
$redis->hIncrBy(‘h’, ‘x’, 2);
将名称为h的hash中x的value增加2

hMset
$redis->hMset(‘user:1′, array(‘name’ => ‘Joe’, ‘salary’ => 2000));
向名称为key的hash中批量添加元素

hMGet
$redis->hmGet(‘h’, array(‘field1′, ‘field2′));
返回名称为h的hash中field1,field2对应的value

redis 操作相关
flushDB
清空当前数据库

flushAll
清空所有数据库

randomKey
随机返回key空间的一个key
$key = $redis->randomKey();

select
选择一个数据库
move
转移一个key到另外一个数据库
$redis->select(0); // switch to DB 0
$redis->set(‘x’, ’42′); // write 42 to x
$redis->move(‘x’, 1); // move to DB 1
$redis->select(1); // switch to DB 1
$redis->get(‘x’); // will return 42

rename, renameKey
给key重命名
$redis->set(‘x’, ’42′);
$redis->rename(‘x’, ‘y’);
$redis->get(‘y’); // → 42
$redis->get(‘x’); // → `FALSE`

renameNx
与remane类似,但是,如果重新命名的名字已经存在,不会替换成功

setTimeout, expire
设定一个key的活动时间(s)
$redis->setTimeout(‘x’, 3);

expireAt
key存活到一个unix时间戳时间
$redis->expireAt(‘x’, time() + 3);

keys, getKeys
返回满足给定pattern的所有key
$keyWithUserPrefix = $redis->keys(‘user*’);

dbSize
查看现在数据库有多少key
$count = $redis->dbSize();

auth
密码认证
$redis->auth(‘foobared’);

bgrewriteaof
使用aof来进行数据库持久化
$redis->bgrewriteaof();

slaveof
选择从服务器
$redis->slaveof(’10.0.1.7′, 6379);

save
将数据同步保存到磁盘

bgsave
将数据异步保存到磁盘

lastSave
返回上次成功将数据保存到磁盘的Unix时戳

info
返回redis的版本信息等详情

type
返回key的类型值
string: Redis::REDIS_STRING
set: Redis::REDIS_SET
list: Redis::REDIS_LIST
zset: Redis::REDIS_ZSET
hash: Redis::REDIS_HASH
other: Redis::REDIS_NOT_FOUND

转自: http://www.cnblogs.com/weafer/archive/2011/09/21/2184059.html

TokeyTyrant (TT Server) ULog 管理,数据清空以及结构优化[转]

TT Server 做为比较方便的KV系统,他提供了Memcache协议进行数据操作,但是没有提供API来作为对其的一个管理机制,他只提供了Shell的方式管理,并且文档相对来说比较少,所以我自己写了一个TTServer的 Ulog 清理和数据库自动清空的脚本来做自动管理,希望有类似需求的同学可以从这个我这个脚本中裁剪出自己需要的脚本,自动运行可以采取Crontab来完成。

[shell]
#!/bin/bash
#请正确设置下面的三个关键变量,目录的话不要用/结尾
TT_INSTALL_HOME="/usr/local/bin" #TTServer 安装文件目录
DIR_ULOG="/home/remon/DevelopKit/server/TT/tokyotyrant/tokyotyrant-1.1.41/ulog" #ulog所在目录
TT_SERVICE_PORT="8080"
#以上三个变量请务必设置正确
if [ -z $1 -a -d $DIR_ULOG ]
then
echo "Please input ulog dir"
exit
fi
cd $DIR_ULOG
ULOG_FILE_COUNT=`find $DIR_ULOG -name ‘*.ulog’ | wc -l` #获取ULOG文件数量
JUMP_FILE_COUNT=0 #ULOG文件不删除文件计数
STR_CURTIME=`date +"%Y-%m-%d %H:%M:%S"` #当前的系统时间
DATA_CURTIME=`date -d "$STR_CURTIME" +%s` #转换成秒
PROCESS_RES_FILE="$DIR_ULOG/res.txt" #处理日志输出文件
echo "ulog dir : " $DIR_ULOG
echo System time is $STR_CURTIME
echo "Ulog file count : " $ULOG_FILE_COUNT
echo "******** Start empty tt’s data! ********" >> $PROCESS_RES_FILE
$TT_INSTALL_HOME/tcrmgr vanish -port $TT_SERVICE_PORT localhost
$TT_INSTALL_HOME/tcrmgr optimize -port $TT_SERVICE_PORT localhost
echo "******** TT is cleared up! ********" >> $PROCESS_RES_FILE
echo "******** Start clear ulog file! ********" >> $PROCESS_RES_FILE
DELAY_TIME=$($TT_INSTALL_HOME/tcrmgr inform -port $TT_SERVICE_PORT -st localhost | awk ‘$1=="delay"”{print $2}’)
if [ -z $DELAY_TIME ]
then
DELAY_TIME=60 #如果无法查询得到复制延迟,那么设定延迟时间为60秒
fi
DELAY_TIME=$(printf %.0f $DELAY_TIME) #将时差四舍五入为整数
for ULOG_FILE in `ls -t $DIR_ULOG | awk ‘{print $1}’`
do
FILE_SUFFIX=${ULOG_FILE##*.} #获取文件后缀名
STR_LASTTIME=$(ls -lt $ULOG_FILE | awk ‘{print $6,$7}’) #获取文件的最后时间
DATA_LASTTIME=`date -d "$STR_LASTTIME" +%s` #转换成秒
INTERVAL_TIME=`expr $DATA_CURTIME – $DATA_LASTTIME` #计算2个时间的差
if [ $INTERVAL_TIME -gt $DELAY_TIME -a $FILE_SUFFIX = "ulog" ]
then
if [ $JUMP_FILE_COUNT -lt 2 ] #最后保留两个最新的ULOG文件,即使这个ULOG最后修改时间和当前时间的差大于同步时差。
then
((JUMP_FILE_COUNT=$JUMP_FILE_COUNT + 1))
continue
fi
echo file will be deleted: $ULOG_FILE $INTERVAL_TIME S >> $DIR_ULOG/res.txt
#rm -rf $ULOG_FILE
fi
done
echo "******** ULog file cleared up! ********" >> $PROCESS_RES_FILE
echo -e "Task over!" `date` "/n/n" >> $PROCESS_RES_FILE
[/shell]

转自:http://blog.csdn.net/DAGiGi/article/details/6265083

Redis常用命令

Redis提供了丰富的命令(command)对数据库和各种数据类型进行操作,这些command可以在Linux终端使用。在编程时,比如使用Redis 的Java语言包,这些命令都有对应的方法,比如上面例子中使用的sadd方法,就是对集合操作中的SADD命令。下面将Redis提供的命令做一总结。

连接操作相关的命令

Ÿ   quit:关闭连接(connection)

Ÿ   auth:简单密码认证

对value操作的命令

Ÿ   exists(key):确认一个key是否存在

Ÿ   del(key):删除一个key

Ÿ   type(key):返回值的类型

Ÿ   keys(pattern):返回满足给定pattern的所有key

Ÿ   randomkey:随机返回key空间的一个key

Ÿ   rename(oldnamenewname):将key由oldname重命名为newname,若newname存在则删除newname表示的key

Ÿ   dbsize:返回当前数据库中key的数目

Ÿ   expire:设定一个key的活动时间(s)

Ÿ   ttl:获得一个key的活动时间

Ÿ   select(index):按索引查询

Ÿ   move(keydbindex):将当前数据库中的key转移到有dbindex索引的数据库

Ÿ   flushdb:删除当前选择数据库中的所有key

Ÿ   flushall:删除所有数据库中的所有key

对String操作的命令

Ÿ   set(key, value):给数据库中名称为key的string赋予值value

Ÿ   get(key):返回数据库中名称为key的string的value

Ÿ   getset(key, value):给名称为key的string赋予上一次的value

Ÿ   mget(key1, key2,…, key N):返回库中多个string(它们的名称为key1,key2…)的value

Ÿ   setnx(key, value):如果不存在名称为key的string,则向库中添加string,名称为key,值为value

Ÿ   setex(keytimevalue):向库中添加string(名称为key,值为value)同时,设定过期时间time

Ÿ   mset(key1, value1, key2, value2,…key N, value N):同时给多个string赋值,名称为key i的string赋值value i

Ÿ   msetnx(key1, value1, key2, value2,…key N, value N):如果所有名称为key i的string都不存在,则向库中添加string,名称key i赋值为value i

Ÿ   incr(key):名称为key的string增1操作

Ÿ   incrby(key, integer):名称为key的string增加integer

Ÿ   decr(key):名称为key的string减1操作

Ÿ   decrby(key, integer):名称为key的string减少integer

Ÿ   append(key, value):名称为key的string的值附加value

Ÿ   substr(key, start, end):返回名称为key的string的value的子串

对List操作的命令

Ÿ   rpush(key, value):在名称为key的list尾添加一个值为value的元素

Ÿ   lpush(key, value):在名称为key的list头添加一个值为value的 元素

Ÿ   llen(key):返回名称为key的list的长度

Ÿ   lrange(key, start, end):返回名称为key的list中start至end之间的元素(下标从0开始,下同)

Ÿ   ltrim(key, start, end):截取名称为key的list,保留start至end之间的元素

Ÿ   lindex(key, index):返回名称为key的list中index位置的元素

Ÿ   lset(key, index, value):给名称为key的list中index位置的元素赋值为value

Ÿ   lrem(key, count, value):删除count个名称为key的list中值为value的元素。count为0,删除所有值为value的元素,count>0从头至尾删除count个值为value的元素,count<0从尾到头删除|count|个值为value的元素。

Ÿ   lpop(key):返回并删除名称为key的list中的首元素

Ÿ   rpop(key):返回并删除名称为key的list中的尾元素

Ÿ   blpop(key1, key2,… key N, timeout):lpop命令的block版本。即当timeout为0时,若遇到名称为key i的list不存在或该list为空,则命令结束。如果timeout>0,则遇到上述情况时,等待timeout秒,如果问题没有解决,则对key i+1开始的list执行pop操作。

Ÿ   brpop(key1, key2,… key N, timeout):rpop的block版本。参考上一命令。

Ÿ   rpoplpush(srckey, dstkey):返回并删除名称为srckey的list的尾元素,并将该元素添加到名称为dstkey的list的头部

对Set操作的命令

Ÿ   sadd(key, member):向名称为key的set中添加元素member

Ÿ   srem(key, member:删除名称为key的set中的元素member

Ÿ   spop(key:随机返回并删除名称为key的set中一个元素

Ÿ   smove(srckey, dstkey, member) :将member元素从名称为srckey的集合移到名称为dstkey的集合

Ÿ   scard(key:返回名称为key的set的基数

Ÿ   sismember(key, member) :测试member是否是名称为key的set的元素

Ÿ   sinter(key1, key2,…key N:求交集

Ÿ   sinterstore(dstkey, key1, key2,…key N:求交集并将交集保存到dstkey的集合

Ÿ   sunion(key1, key2,…key N:求并集

Ÿ   sunionstore(dstkey, key1, key2,…key N) :求并集并将并集保存到dstkey的集合

Ÿ   sdiff(key1, key2,…key N:求差集

Ÿ   sdiffstore(dstkey, key1, key2,…key N) :求差集并将差集保存到dstkey的集合

Ÿ   smembers(key) :返回名称为key的set的所有元素

Ÿ   srandmember(key) :随机返回名称为key的set的一个元素

对zset(sorted set)操作的命令

Ÿ   zadd(key, score, member):向名称为key的zset中添加元素member,score用于排序。如果该元素已经存在,则根据score更新该元素的顺序。

Ÿ   zrem(key, member) :删除名称为key的zset中的元素member

Ÿ   zincrby(key, increment, member:如果在名称为key的zset中已经存在元素member,则该元素的score增加increment;否则向集合中添加该元素,其score的值为increment

Ÿ   zrank(key, member:返回名称为key的zset(元素已按score从小到大排序)中member元素的rank(即index,从0开始),若没有member元素,返回“nil”

Ÿ   zrevrank(key, member:返回名称为key的zset(元素已按score从大到小排序)中member元素的rank(即index,从0开始),若没有member元素,返回“nil”

Ÿ   zrange(key, start, end):返回名称为key的zset(元素已按score从小到大排序)中的index从start到end的所有元素

Ÿ   zrevrange(key, start, end):返回名称为key的zset(元素已按score从大到小排序)中的index从start到end的所有元素

Ÿ   zrangebyscore(key, min, max):返回名称为key的zset中score >= min且score <= max的所有元素

Ÿ   zcard(key):返回名称为key的zset的基数

Ÿ   zscore(key, element):返回名称为key的zset中元素element的score

Ÿ   zremrangebyrank(key, min, max):删除名称为key的zset中rank >= min且rank <= max的所有元素

Ÿ   zremrangebyscore(key, min, max) :删除名称为key的zset中score >= min且score <= max的所有元素

Ÿ   zunionstore / zinterstore(dstkeyNkey1,…,keyN, WEIGHTS w1,…wN, AGGREGATE SUM|MIN|MAX):对N个zset求并集和交集,并将最后的集合保存在dstkeyN中。对于集合中每一个元素的score,在进行AGGREGATE运算前,都要乘以对于的WEIGHT参数。如果没有提供WEIGHT,默认为1。默认的AGGREGATE是SUM,即结果集合中元素的score是所有集合对应元素进行SUM运算的值,而MIN和MAX是指,结果集合中元素的score是所有集合对应元素中最小值和最大值。

对Hash操作的命令

Ÿ   hset(key, field, value):向名称为key的hash中添加元素field<—>value

Ÿ   hget(key, field):返回名称为key的hash中field对应的value

Ÿ   hmget(key, field1, …,field N):返回名称为key的hash中field i对应的value

Ÿ   hmset(key, field1, value1,…,field N, value N):向名称为key的hash中添加元素field i<—>value i

Ÿ   hincrby(key, field, integer):将名称为key的hash中field的value增加integer

Ÿ   hexists(key, field):名称为key的hash中是否存在键为field的域

Ÿ   hdel(key, field):删除名称为key的hash中键为field的域

Ÿ   hlen(key):返回名称为key的hash中元素个数

Ÿ   hkeys(key):返回名称为key的hash中所有键

Ÿ   hvals(key):返回名称为key的hash中所有键对应的value

Ÿ   hgetall(key):返回名称为key的hash中所有的键(field)及其对应的value

持久化

Ÿ   save:将数据同步保存到磁盘

Ÿ   bgsave:将数据异步保存到磁盘

Ÿ   lastsave:返回上次成功将数据保存到磁盘的Unix时戳

Ÿ   shundown:将数据同步保存到磁盘,然后关闭服务

远程服务控制

Ÿ   info:提供服务器的信息和统计

Ÿ   monitor:实时转储收到的请求

Ÿ   slaveof:改变复制策略设置

Ÿ   config:在运行时配置Redis服务器

MySQL与NoSQL——SQL与NoSQL的融合[转]

写这一篇内容的原因是MySQL5.6.2突然推出了memcached的功能。NoSQL to InnoDB with Memcached的出现,可以看出NoSQL对关系数据库的确产生了巨大的影响,个人觉得这是一个非常大的进步,可以让开发人员更加方便的使用NoSQL和关系数据库。NoSQL一般被认为性能高于关系数据库,那么直接在InnoDB之上提供NoSQL功能并和MySQL共存是否是一个更好的选择呢?

MySQL with HandlerSocket

去年在twitter上看到HandlerSocket的出现,并宣称性能是Memcached的两倍时,非常令人吃惊,居然可以达到750000qps。接着HandlerSocket成为NoSQL领域谈论的焦点之一, 大量的人开始想要尝试,并做过一些自己的性能测试。 下图是HandlerSocket的结构图:

图1 HandlerSocket结构图(来源于官方)

HandlerSocket的出现,给我们眼前一亮的感觉。原来InnoDB的性能已经足够好,并可以直接提供NoSQL的功能。最大的好处就是可以共享MySQL的功能,DBA以前的经验一样可以用。但是有些小小的风险:

  • HandlerSocket没有与MySQL一起发布版本,因此对于使用MyISAM引擎的用户是无缘的。不过现在Percona-Server已经集成了HandlerSocket,可以非常方便的使用。
  • 目前大规模的成功案例并不多,国内也只有少部分公司在尝试,我知道的有飞信开放平台,据说还不错。
  • 官方给出的测试数据在应用场景上其实并不充分,至少测试的场景跟我们实际使用的场景相差很大。但是毫无疑问, HandlerSocket的性能比直接使用MySQL肯定要高效得多。

InnoDB with Memcached

也许是因为HandlerSocket的火爆的冲击,也许是受HandlerSocket的启发,MySQL开始关注NoSQL领域的应用,并在MySQL5.6.2版本增加了通过Memcached协议直接访问原生Innodb API的功能。

InnoDB with Memcached是在提供MySQL服务的同一进程中提供Memcached服务 ,这与HandlerSocket的架构模式几乎是一样的。虽然目前InnoDB with Memcached还是预览版本,但是我个人更看好它,因为:

  • 它使用Memcached协议,并同时支持文本和二进制协议,在client的选择和成熟度上就要胜出许多;
  • 其支持的三种cache模式,不但可以省去开发中使用Memcached来缓存数据的麻烦,并且具有更好的可靠性和数据一致性;
  • 在应用程序中,可以使用高效的memcached协议来操作数据,同时也可以使用sql进行复杂的查询操作;

注意:目前通过memcached的更新操作不会记录到binlog中,未来的版本会支持。

图二 InnoDB with Memcached

Memcached and MySQL Cluster

显而易见,我们会想到MySQL Cluster结合Memcached是一个更好的组合,MySQL Cluster提供了99.999%高可用性,并真正提供了去中心化的无缝高可扩展性。还有什么比这更人兴奋的呢。

MySQL已经提供了这样的功能,源代码在这里。这里有一个O’Reilly MySql Conference大会的PPT演示 ,你也可以看下这个功能开发者的一篇博客

图三 NDB with Memcached

MySQL Cluster虽然具有高可靠性和无缝扩展的优势,但是对于复杂SQL查询的效率却不能令人满意。不过对于仅仅依赖于key-value查询和写入的海量数据存储需求,MySQL Cluster with Memcached应该是个很好的选择。

总结

Memcached协议由于其简单、协议轻量、存在大量的client,所以提供兼容Memcached协议的产品比较占据先天的优势。

MySQL提供NoSQL的功能,个人觉得并不是MySQL耐不住寂寞,而是的确在响应用户的需求。我前面的文章也说过,“NoSQL只是一个概念,并不是一个数据库 产品,MySQL也可以是NoSQL”,现在也正应了这句话。NoSQL从架构上就约束了开发者的架构和开发方式,从而提高扩展性和性能,而NoSQL和MySQL的融合,也同时提供了复杂查询功能。

虽然MySQL提供了NoSQL功能,如果你要尝试的话,你的数据库设计必须从NoSQL从发,然后再考虑SQL查询功能。

SQL与NoSQL的融合的确会给开发者带来方便,比如最近很流行的Mongodb,它吸引开发最大的点就是支持简单的关系查询。SQL与NoSQL的融合可能是未来很多数据库产品的一个趋势。但是纯NoSQL数据库的优势也是显著的,就是他的简单、高效、易扩展。

参考链接:

关于作者

孙立,目前为去哪儿网(qunar.com)高级系统架构师。曾就职于凤凰网、ku6和搜狐。多年互联网从业经验和程序开发,对分布式搜索引擎的开发,高并发,大数据量网站系统架构优化,高可用性,可伸缩性,分布式系统缓存,数据库分表分库(sharding)等有丰富的经验,并且对运维监控和自动化运维控制有经验。是开源项目phplock,phpbuffer的作者。近期开发了一个NOSQL数据库存储INetDB,是NoSQL数据库爱好者。

本文已经首发于InfoQ中文站,版权所有,原文为《MySQL与NoSQL——SQL与NoSQL的融合》,如需转载,请务必附带本声明,谢谢。

InfoQ中文站是一个面向中高端技术人员的在线独立社区,为Java、.NET、Ruby、SOA、敏捷、架构等领域提供及时而有深度的资讯、高端技术大会如QCon 、线下技术交流活动QClub、免费迷你书下载如《架构师》等。​

tokyo tyrant 安装日志

tokyo tyrant是一个可持久化的缓存服务器,类似memcachedb,tokyo tyrant本身是个缓存服务器,但需要tokyo cabinet作为存储引擎,
就像memcachedb中的memcache需要berkeley db一样

1)安装存储引擎tokyo cabinet
[bash]
wget http://1978th.net/tokyocabinet/tokyocabinet-1.4.47.tar.gz
tar xzvf tokyocabinet-1.4.47.tar.gz
cd tokyocabinet-1.4.47
./configure –prefix=/path/to/tokyocabinet-1.4.47
make
sudo make install
[/bash]

2)如果需要使用像队列等扩展,则要安装lua
[bash]
wget http://www.lua.org/ftp/lua-5.1.4.tar.gz
tar zxf lua-5.1.4.tar.gz
cd lua-5.1.4
make linux
make install
[/bash]
如果出现类似如下错误:
In file included from lua.h:16,
from lua.c:15:
luaconf.h:275:31: error: readline/readline.h: No such file or directory
luaconf.h:276:30: error: readline/history.h: No such file or directory
lua.c: In function ‘pushline’:
lua.c:182: warning: implicit declaration of function ‘readline’
lua.c:182: warning: assignment makes pointer from integer without a cast
lua.c: In function ‘loadline’:
lua.c:210: warning: implicit declaration of function ‘add_history’
make[2]: *** [lua.o] Error 1
make[2]: Leaving directory `/root/tool/lua-5.1.4/src’
make[1]: *** [linux] Error 2
make[1]: Leaving directory `/root/tool/lua-5.1.4/src’
make: *** [linux] Error 2

则表示readline-devel没装, 执行yum -y install readline-devel安装,或者从源码安装:
[bash]
wget ftp://ftp.cwru.edu/pub/bash/readline-6.1.tar.gz
tar -zxvf readline-6.1.tar.gz
cd ~~ ./configure && make && make install
ldconfig
[/bash]

3)安装toyko tyrant
[bash]
wget http://1978th.net/tokyotyrant/tokyotyrant-1.1.41.tar.gz
tar xzvf tokyotyrant-1.1.41.tar.gz
cd tokyotyrant-1.1.41
./configure –prefix=/usr/local/tokyotyrant-1.1.41 –with-tc=/usr/local/tokyocabinet-1.4.47 –enable-lua
[/bash]

4) 测试
4.1)演示非持久性
4.1.1)启动服务:
bin/ttserver

4.1.2)使用客户端
另起一个终端
存放: bin/tcrmgr put localhost one first
获取: bin/tcrmgr get localhost one
得到结果 first

4.2.3)测试持久
重启ttserver,再次获取bin/tcrmgr get localhost one
没有结果

4.2)演示持久性
3.2.1)启动服务
bin/ttserver /tmp/x.tch

4.2.2)使用客户端
另起一个终端
存放: bin/tcrmgr put localhost one first
获取: bin/tcrmgr get localhost one

4.2.3)测试持久
重启ttserver
再次获取:
bin/tcrmgr get localhost one

Tokyo Tyrant(ttserver) java api的安装【转】

Tokyo Tyrant(ttserver)的安装请看我的上一篇文章http://gqf2008.iteye.com/admin/blogs/366963

 

 

编译java api

http://tokyocabinet.sourceforge.net/javapkg/tokyocabinet-java-1.18.tar.gz

tar zxvf tokyocabinet-java-1.18.tar.gz

cd tokyocabinet-java-1.18

编译时一定要设置JAVA_HOME环境变量,不然会报找不到jni.h错误

export JAVA_HOME=…..

./configure

make

make install

编辑当前用户的环境变量,增加一下这些参数

CLASSPATH=$CLASSPATH:/usr/local/lib/tokyocabinet.jar

LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib

export CLASSPATH LD_LIBRARY_PATH

重新登陆让环境变量生效,或者执行source ~/.bashrc (ubuntu下是这个文件)

 

跑一下例子

cd example

javac *.java

java TCBDBEX

hop

bar:step

baz:jump

foo:hop

 

java TCFDBEX

one

1:one

12:twelve

144:one forty four

 

java TCHDBEX

hop

foo:hop

bar:step

baz:jump

转自:http://gqf2008.iteye.com/blog/372753