dede和ecms的采集过滤
dedecms采集过滤
原创文章，转载请注明来源作者：
作者：yuxisan
引用通告：http://www.yuxisan.com/cmd.asp?act=tb&id=5&key=20298
dede采集过程中最麻烦的莫过于采集的正则过滤函数的编写。说实在的，dede在这点上和很多ASP CMS系统比如说动易等，采集的时候直接选择几个选项就可以了，简单的完成想过滤的东西。不过他们只局限于对文章内容的过滤不是很好。而DEDE却能对所有采集的字段进行过滤，功能上弥补了易用性的缺陷，期待柏拉图在后续版本中加上选择性过滤功能。
下面是在综合论坛上网友的各种正则的一个全集：
{dede:trim}
{/dede:trim}
{dede:trim}<param([^>]*)>{/dede:trim}
{dede:trim}<embed([^>]*)>([^>]*)</embed>{/dede:trim}
{dede:trim}<embed([^>]*)>{/dede:trim}
{dede:trim}</embed>{/dede:trim}
{dede:trim}<object([^>]*)>([^>]*)</object>{/dede:trim}
{dede:trim}<object([^>]*)>{/dede:trim}
{dede:trim}</object>{/dede:trim}
{dede:trim}<OBJECT([^>]*)>([^>]*)</OBJECT>{/dede:trim}
{dede:trim}<OBJECT([^>]*)>{/dede:trim}
{dede:trim}</OBJECT>{/dede:trim}
{dede:trim}<iframe([^>]*)>([^>]*)</iframe>{/dede:trim}
{dede:trim}<iframe([^>]*)>{/dede:trim}
{dede:trim}</iframe>{/dede:trim}
{dede:trim}<IFRAME([^>]*)>([^>]*)</IFRAME>{/dede:trim}
{dede:trim}<IFRAME([^>]*)>{/dede:trim}
{dede:trim}</IFRAME>{/dede:trim}
{dede:trim}<font([^>]*)>([^<]*)</font>{/dede:trim}
{dede:trim}<font([^>]*)>{/dede:trim}
{dede:trim}</font>{/dede:trim}
{dede:trim}<a([^>]*)>([^<]*)</a>{/dede:trim}
{dede:trim}<a([^>]*)>{/dede:trim}
{dede:trim}</a>{/dede:trim}
{dede:trim}<td([^>]*)>([^>]*)</td>{/dede:trim}
{dede:trim}<td([^>]*)>{/dede:trim}
{dede:trim}</td>{/dede:trim}
{dede:trim}<tr([^>]*)>([^>]*)</tr>{/dede:trim}
{dede:trim}<tr([^>]*)>{/dede:trim}
{dede:trim}</tr>{/dede:trim}
{dede:trim}<tbody([^>]*)>([^>]*)</tbody>{/dede:trim}
{dede:trim}<tbody>{/dede:trim}
{dede:trim}</tbody>{/dede:trim}
{dede:trim}<table([^>]*)>([^>]*)</table>{/dede:trim}
{dede:trim}<table([^>]*)>{/dede:trim}
{dede:trim}</table>{/dede:trim}
{dede:trim}<img([^>]*)>{/dede:trim}
{dede:trim}<span([^>]*)>{/dede:trim}
{dede:trim}</span>{/dede:trim}
{dede:trim} {/dede:trim}
{dede:trim}<stong>{/dede:trim}
{dede:trim}</stong>{/dede:trim}
应用示例一：标题中空格的过滤
经常在采集文章的时候，标题文字里面有空格，采回来后应用很是麻烦，所以需要在过滤处添加下面正则过滤
{dede:trim} {/dede:trim}
应用示例二：来源作者中连接的过滤
在采集文章的时候，有的系统里面作者或者来源处都有连接，直接采集的话将连接采集回来了，然后由于这两个字段有限制，通常会造成需要采集的内容没有采集回来，所以需要在过滤处添加下面正则过滤
{dede:trim}<a([^>]*)>([^<]*)</a>{/dede:trim}
应用示例三：文章内容中连接以及其他广告代码的过滤
这个就不用说了，当需要对所有东西过滤的时候，直接用上面所有的代码过滤就可以，但是实际应用中，我们只需要对连接、动画、调用等进行过滤。（这个需要按照对方内容里面具体含有什么代码来具体操作）
一般的只有链接，使用二中的代码进行过滤就可以了，但是实际上一般的网站现在都在内容里面加有广告等，所以采取下面的过滤正则就可以完成过滤：
{dede:trim}<a([^>]*)>([^<]*)</a>{/dede:trim}
{dede:trim}<IFRAME([^>]*)>([^>]*)</IFRAME>{/dede:trim}
{dede:trim}<object([^>]*)>([^>]*)</object>{/dede:trim}
{dede:trim}<script([^>]*)>([^>]*)</script>{/dede:trim}
应用示例四：过滤GG广告代码
其实这个就是在上面的内容过滤，但是很多论坛里的网友经常问这个，所以单独作为一个应用列出来：
{dede:trim}<script([^>]*)>([^>]*)</script>{/dede:trim}
好了，上面四种应用基本上涵盖了采集的各种应用，掌握了这个，过滤基本上就不用求人了！
———————
一个帝国的万能采集过滤码(含正则)
可以防止采集后模反跑格,
防止内容内有别的网站的连接,
防止GG广告,防止潜入式页面,
防止表单,防止表格等等,
使用方法:直接复制后,放到采集的内容过滤框框内既可!
自已慢慢摸索吧!
——————————————————————————–
<a([^>]*)>,<A([^>]*)>,</a>,</A>,<DIV([^>]*)>,</DIV>,<div([^>]*)>,</div>,<DIV>,<div>,<script[!--ad--]</script>,<form[!--ad--]</form>,<iframe[!--ad--]</iframe>,<IFRAME[!--ad--]</IFRAME>,<OBJECT[!--ad--]</OBJECT>,<object[!--ad--]</object>,<table([^>]*)>,<table>,</table>,<tr([^>]*)>,<tr>,</tr>,<td([^>]*)>,<td>,</td>,<font([^>]*)>,<font>,</font>,<tbody>,<tbody([^>]*)>,</tbody>,<style[!--ad--]</style>,<span([^>]*)>,</span>,
————————————