这个需求发生在分析apache日志的时候。在日志中发现了一个比较可疑的ip，出现频率颇高，但每天的日志有几百万行，如何从中几百万行中找出需要的数据来进行分析呢？ 先说一下这个可疑的ip,58.63.144.170,据说是一个弱智的蜘蛛，上帝保佑它下地狱。
看过apache日志的朋友应该知道，apache的访问日志的每一行是以访问者的ip开始的。因为日志比较大，所以我是用ultraedit来看的。用ultraedit的时候需要注意，它的正则一共有两种，一种是符合perl规范的，而默认的是ut自带的一种，写法比较特殊。本文中用到的正则表达式都是perl兼容的，ut中这个选项可以在“高级->配置->搜索->正则表达式引擎”中进行修改。
经过一番思索，发现自己掌握的正则表达式中好象没有能直接删除“不包含”一个指定串的用法。思前想后，先写一个包含指定串的再说吧：^(58.63.144.170).*$，测试一下，可以把包含指定ip的行找出来，接下来要做的就是怎么把这些行保留下来而删除另外的行。在尝试了N次以后，我终于放弃了直接删除不包含这个ip的行的想法。怎么办呢？退一步海阔天空!既然不能直接删除，那就迂回一下吧。虽然不能直接删除不包含指定串的行，但删除不包含指定字符的正则我还是会写的：)
先给包含指定ip的行做个标志，这里要用到ut的替换功能。要查找的行：^(58.63.144.170)(.*)。因为日志的每一行都是以数字开始的，所以我选择‘%'做为标志的特殊符号，要替换成的正则为：%$1$2。全部替换以后，包含指定ip的行就变成了这个样子：%58.63.144.170……。接下来，我们再把行首不是‘%'的行删掉，查找：^[^%].*，替换处为空。执行全部替换，日志中只剩下了以‘58.63.144.170'开头的行，大功告成!等等，剩下的空行太难看，让我们把它们干掉，查找：^[\r\n]*$,替换处为空，执行全部替换，世界终于清静了...
其实本文中用的正则都是很基本的东西，虽然最终没能写出删除包含指定字符串的行的正则，但在迂回中最终也是现实了想要的功能，而且看上去也更清晰一些。有时候退一步未必不是一个更好的选择。

评论 (0) All

登陆 还没注册？