最近在调整一个脚本脚本，在cygwin下，脚本输出的日志杂乱，看起来很费劲。想对输出进行排序，由于列的宽度都是不固定的，所以操作起来很吃力，怎么都调整不好。

后来找到一个命令，非常好用

那就是：column -t filename

先前输出的日志如下：

乱的像一团麻一样，看起来非常吃力。

使用column 之后如下：

整整齐齐，一目 了然，在脚本使用，输出也是非常清爽

经常会对文体文件进行逐行处理，在Shell里面如何获取每行数据，然后处理该行数据，最后读取下一行数据，循环处理．有多种解决方法如下：

1.通过read命令完成．

read命令接收标准输入，或其他文件描述符的输入，得到输入后，read命令将数据放入一个标准变量中．

利用read读取文件时，每次调用read命令都会读取文件中的"一行"文本．

当文件没有可读的行时，read命令将以非零状态退出．

1 cat data.dat | while read line
2 do
3     echo "File:${line}"
4 done
5 
6 while read line
7 do 
8     echo "File:${line}"
9 done < data.dat

2.使用awk命令完成

awk是一种优良的文本处理工具，提供了极其强大的功能．

利用awk读取文件中的每行数据，并且可以对每行数据做一些处理，还可以单独处理每行数据里的每列数据．

1 cat data.dat | awk '{print $0}'
2 cat data.dat | awk 'for(i=2;i<NF;i++) {printf $i} printf "\n"}'

第1行代码输出data.dat里的每行数据，第2代码输出每行中从第2列之后的数据．

如果是单纯的数据或文本文件的按行读取和显示的话，使用awk命令比较方便．

3.使用for var in file 命令完成

for var in file　表示变量var在file中循环取值．取值的分隔符由$IFS确定．

1 for line in $(cat data.dat)
2 do 
3     echo "File:${line}"
4 done
5 
6 for line in `cat data.dat`
7 do 
8     echo "File:${line}"
9 done

如果输入文本每行中没有空格，则line在输入文本中按换行符分隔符循环取值．

如果输入文本中包括空格或制表符，则不是换行读取，line在输入文本中按空格分隔符或制表符或换行符特环取值．

可以通过把IFS设置为换行符来达到逐行读取的功能．

IFS的默认值为：空白(包括：空格，制表符，换行符)．

我要把
awk '/eth0/{print $1 }' /proc/net/dev |sed 's/eth0://'
输出的结果赋值给变量 input

搞定了
input=$(awk '/eth0/{print $1 }' /proc/net/dev |sed 's/eth0://'
)

awk '/eth0/{print $1 }' /proc/net/dev |sed 's/eth0://'
不能用一个句子写出来？
awk -F "[: ]+" '/eth0/{print $3}' /proc/net/dev

http://cu.img168.net/static/image/common//icon_quote_e.gif); line-height: 1.6; zoom: 1; background-position: 100% 100%; background-repeat: no-repeat no-repeat;">假如一个命令ls有3个输出1,2,3;
我如何把1,2,3分别赋值给VAR1,VAR2,VAR3呢?

使用过程中，使用最多的参数就是 -v ，但是用着并不爽。

比如说，我想查找一个单词“UserService”，但是像”*.svn” 这种文件就不用显示了，我该怎么做呢？

但是，如果类似于含有”test、auto_load”之类的文件我也不显示，怎么做呢？我之前的做法是：

命令很长，而且麻烦，于是就想，grep本身是按照正则表达式来当做选项的，那么我是不是可以利用到正则表达式的“或|”命令？

很显示，执行结果显示上面的命令不符合我的需求，于是苦思不得其解。原来，在使用正则表达式选项时，要记得将”|”转义。最终命令如下：

正则表达式的与或非

我们都知道，写正则表达式有点像搭积木，复杂的功能总可以拆分开来，由不同的元素（也就是子表达式）对应，再用合适的关系将它们组合起来，就可以完成。在这一节，我们讲解常见的与或非关系的表达。

与

“与”是最简单的关系，它表示若干个元素必须同时相继出现，比如匹配单词cat，其实就是要求字符c、字符a和字符t必须同时连续出现。

正则表达式表达“与”关系非常简单，直接连续写出相继出现的元素就可以，我们可以想象，在各个元素之间，存在看不见的连接操作符·，比如上面匹配单词cat的正则表达式，就是『cat』，我们可以将它想象为『c·a·t』。

“与”关系也不限于字符之间，任何子表达式都可以用它来连接，如果我们把上面单词中的a替换为字符组『[au]』，表达式就变为『c[au]t』，你可以想象为『c·[au]·t』。

或

“或”是正则表达式灵活性的重要体现，我们可以规定某个位置的文本的“多种可能”，比如要匹配cat或是cut，在正则表达式看来，就是“字符c，然后是a或u，然后是t”。

如果“或”的多种可能都是单个字符（一般要求ASCII字符，中文字符等多字节字符的情况，可以参考本书专门论述的章节，此处仅以ASCII字符为例），就可以用字符组来表达“或”的关系，比如上面的cat或者cut的情况，正则表达式写做『c[au]t』，其原理如下：

更复杂的情况是“或”的多种可能，并非都是单个字符，有些可能是多个字符。比如，我们可以看一个更复杂的例子，不仅要匹配cut，还要匹配c开头、t结尾的单词chart、conduct和court。也就是说，在开头的c，结尾的t之间“可能”出现的是：u或har或onduc或our。

遇到这种情况，就不应使用字符组，而应当使用多选分支『(…|…)』，将各个“可能选项”列在多选分支中。于是，正则表达式变为『c(u|har|onduc|our)t』，其原理如下：

关于多选分支，还有两点要补充：

多选分支也可用于“每个选择都是单个字符”的情况，比如『c[au]t』写成『c(a|u)t』是没错的，但字符组的效率要远高于多选分支，所以，在这种情况下，推荐使用字符组『c[au]t』；

默认的多选分支『(…|…)』使用的括号是会捕获文本的，也就是说，括号内的表达式真正匹配成功的文本会记录下来，匹配完成之后可以提取出来，具体到上面的例子，就是我们有办法在匹配完成后“提取”出u或har或onduc或our。但许多时候，我们需要的只是整个表达式的匹配，而不关心“匹配时到底选择的哪种可能情况”，在这种情况下，我们稍加修改，使用“不捕获文本的括号”，可以提高效率。不捕获文本的写法也很简单，只是在开扩号之后加上字符『?:』，也就是『(?:…|…)』，具体到上面的例子，就应该写成『c(?:u|har|onduc|our)t』。这样做虽然繁琐点，但效率有保障，阅读起来也不困难，我推荐养成这种习惯，只要用到了括号，就想想是否真的要捕获括号内表达式匹配的文本，如果不需要，就是用不捕获文本的括号。

非

“非”看起来简单，其实是最复杂的，以下分几种情况讨论。

首先讨论针对字符的“非”：不容许出现某个或某几个字符。这是最简单的情况，直接用排除型字符组就可以对付，仍然用上面的例子，如果要匹配的单词是c开头、t结尾，中间有一个字符，但不能是u（也就是说，整个单词不能是cut），直接用『c[^u]t』就可以了，若中间的字符不能是a或u（也就是说，整个单词不能是cat或cut），则表达式改为『c[^au]t』。

如果你认真读过关于排除型字符组的章节，肯定会知道，这个表达式能匹配的只是cot之类的单词，因为中间的排除型字符组『[^au]』必须匹配一个字符。可是，如果我们还想要匹配chart、conduct和court，怎么办？最简单的想法是去掉排除型字符组的长度限制，改成『c[^au]+t』——不幸的是，这样行不通，因为这个表达式的意思是：c和t之间，是由多于一个“除a或u之外的字符“构成的，而chart、conduct和court，都包含a或u。

我们回头仔细看看这个“非”的逻辑，我们发现，其实我们要否定的是“单个出现的a或u”，而不仅仅是“出现的a或u”，所以才出现这样的问题，要解决这个问题，就应当把意思准确表达出来，变成“在结尾的t之前，不容许只出现一个a或u”。想到这一步，我们就可以用否定顺序环视『(?!…)』来解决了，它表示“在这个位置向右，不容许出现子表达式能够匹配的文本，我们把子表达式规定为『[au]t\b』（最后的『\b』很重要，它出现在t之后，保证t是单词的结尾子母）。

有了这点限制，匹配a和t之间文本的表达式就随意很多了，我们可以用匹配单词字符的简记法『\w』表示，于是整个表达式就变成了『c(?![au]t\b)\w+t』。请注意，这里出现的并不是排除型字符组『[^au]』，而是普通的字符组『[au]』，因为否定顺序环视『(?!…)』本身已经表示了“否定”的功能。

如果我们再进一步，“整个匹配文本中都不能出现字符串cat”，要怎么办呢？许多人的思路就是借鉴处理“或”关系的思路：既然字符组对应单个字符的情况，多选分支对应多个字符的情况，那么在否定时也是这样。可惜，正则表达式并没有提供与多选分支对应的“否定”结构，那么，应该怎么办呢？

解决的办法还是得依靠否定顺序环视——“整个匹配文本中都不能出现字符串cat”，换句话说，就是“在文本中的任意位置，向右，都不能出现该字符串”。因此，我们用两个锚点『^』和『$』，分别匹配整个字符串的开头和结尾位置，再用否定顺序环视『(?!cat)』表达“不能出现字符串cat”。

即便知道了原理，也不见得能写对正则表达式，比如『^(?!cat).+$』就是不正确的，因为它只限定了在文本的开头（也就是『^』）右边不能出现cat，而我们真正要做的是，在文本的每一个位置右边，都不能出现cat，所以应该改成『^((?!cat).)+$』；但这还说不上完美，根据前面提到的关于括号捕获的知识，因为此处并不需要括号捕获的文本，所以最好使用非捕获型括号『(?:…)』，最终我们得到的表达式就是『^(?:(?!cat).)+$』。

awk中使用shell的环境变量
一:"'$var'"
这种写法大家无需改变用'括起awk程序的习惯,是老外常用的写法.如:
var="test"
awk 'BEGIN{print "'$var'"}'
这种写法其实际是双括号变为单括号的常量,传递给了awk.
如果var中含空格,为了shell不把空格作为分格符,便应该如下使用:
var="this is a test"
awk 'BEGIN{print "'"$var"'"}'
二:'"$var"'
这种写法与上一种类似.如果变量含空格,则变为'""$var""'较为可靠.
三.把括起awk程序的''变为"",使用"$var"
如:
$var="this is a test"
awk 'BEGIN{print "$var"}"
这是因为在""里$是特殊字符,而在''里$是普通字符.
四:export 变量,使用ENVIRON["var"]形式,
如:
$var="this is a test";export $var
awk 'BEGIN{print ENVIRON["var"]}'
五:当然也可以使用-v选项
如:
$var="this is a test"
awk -vnvar="$var" '{print nvar}'
这样便把系统变量定义成了awk变量.

--

#!/bin/sh

a=`date +%Y-%m-%d-%H-%M-%S`
echo $a;

a=`date +%Y-%m-%d-%Hh-%Mm-%Ss`
echo $a;

#log
MYDATE=`date +%d%m%y`
#append MYDATE to the variable LOGFILE that holds the actual filename of the log
LOGFILE=/root/test_log.$MYDATE
#create the file
>$LOGFILE
MYTIME=`date +%d%R`
LOGFILE2=/root/test_logtime.$MYTIME
#create the file
>$LOGFILE2
 

# cd /etc/init.d

# ./syslog restart

Shutting down kernel logger: OK ]
Shutting down system logger: OK ]
Starting system logger: OK ]
Starting kernel logger: OK ]

不過最好查詢清楚是為什么不能寫入linux os log的 ？

--------------------------------------------------------------

系统运行日志：

A、Linux 日志存储在 /var/log 目录中。这里有几个由系统维护的日志文件，但其他服务和程序也可能会把它们的日志放在这里。大多数日志只有 root 才可以读，不过只需要修改文件的访问权限就可以让其他人可读。

以下是常用的系统日志文件名称及其描述：

1. 记录输出到系统主控台以及由syslog系统服务程序产生的消息

1. 扩展的utmp

1. 记录每一次用户登录和注销的历史信息扩展的wtmp

vold.log 记录使用外部介质出现的错误

、/var/log/messages
messages 日志是核心系统日志文件。它包含了系统启动时的引导消息，以及系统运行时的其他状态消息。IO 错误、网络错误和其他系统错误都会记录到这个文件中。其他信息，比如某个人的身份切换为 root，也在这里列出。如果服务正在运行，比如 DHCP 服务器，您可以在 messages 文件中观察它的活动。通常，/var/log/messages 是您在做故障诊断时首先要查看的文件。

、/var/log/XFree86.0.log这个日志记录的是 Xfree86 Xwindows 服务器最后一次执行的结果。如果您在启动到图形模式时遇到了问题，一般情况从这个文件中会找到失败的原因。

D、在/var/log 目录下有一些文件以一个数字结尾，这些是已轮循的归档文件。日志文件会变得特别大，特别笨重。Linux 提供了一个命令来轮循这些日志，以使您的当前日志信息不会淹没在旧的无关信息之中。 logrotate通常是定时自动运行的，但是也可以手工运行。当执行后，logrotate 将取得当前版本的日志文件，然后在这个文件名最后附加一个“.1”。其他更早轮循的文件为“.2”、“.3”，依次类推。文件名后的数字越大，日志就越老。

可以通过编辑 /etc/logrotate.conf 文件来配置 logrotate的自动行为。通过 man logrotate来学习 logrotate的全部细节。

其中：

# rotate log files weekly

weekly

这里代表每个日志文件是每个星期循环一次，一个日志文件保存一个星期的内容。

# keep 4 weeks worth of backlogs

rotate 4

这里代表日志循环的次数是4次，即可以保存4个日志文件。

E、 

可以通过编辑 /et/syslog.conf 和 /etc/sysconfig/syslog 来配置它们的行为，可以定制系统日志的存放路径和日志产生级别。

last

单独执行last指令，它会读取位于/var/log目录下，名称为wtmp的文件，并把该给文件的内容记录的登入系统的用户名单全部显示出来。

history

history命令能够保存最近所执行的命令。如果是root命令所保存的命令内容在/root/.bash_history文件中，如果是普通用户，操作所命令保存在这个用户的所属目录下，即一般的/home/username/.bash_history。这个history的保存值可以设置，编辑/etc/profile文件，其中的HISTSIZE=1000的值就是history保存的值。

backtrack5安装完毕后，使用putty远程登录时显示network error：Connection refused
解决方法：

登录系统（系统默认用户名密码是root/toor，startx可以进入图形界面）

在命令终端输入命令，

#sshd-generate （系统可能会询问是否覆盖，全部选Y）。

或者

#ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key

密码置空

#ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key

密码置空

然后

:~# /etc/init.d/ssh restart

问题解决。