初探PHP开源采集器—-蓝天采集器

初探PHP开源采集器—-蓝天采集器

开源地址:

github:https://github.com/zorlan/skycaiji

安装及基本使用

点击跳转到官方文档: https://www.skycaiji.com/manual/doc/install

初次使用

image.png

可以看到功能还不少,可以自动采集,可以设置代理等等…

接下来开始的常规操作:

  • 创建任务
  • 设置规则
    image.png

    按照正常思维应该是
    点击采集 以为就可以直接采集,但是并没有,会弹出下面的图片
    image.png

没办法,只能按照规则来,点击规则旁边的发布 弹出的页面是

image.png

作为一个研究过的人来给大家解释下是什么意思

  • 本地CMS程序 : 将采集的数据保存到一些知名的CMS库中(前面使用的人做了一些相应的匹配规则,直接用)
  • 数据库:将数据保存到库里,这里要注意的是,最好新建一个库,在页面选择采集的字段与数据库的字段绑定来保存**(下面我会使用这种方式来查看采集的数据)**
  • 文件存储:将数据以文件的方式存储,用的是excex或者word 的方式
  • 调用接口:就是将采集的数据以API的方式发送给另一个服务器,主动发送
  • 生成API:就是将采集的数据存储好后,另一个服务器可以直接通过设置好的API被动的拿数据
  • 自定义插件:将采集的数据,可以完全自定义,想怎么存,存哪里,完全自己操作**(下面我也做了这种方式的采集修理)**

数据库的方式

image.png

设置好数据库字段与采集字段的绑定关系
保存后点击采集,查看已采集的数据,然后去当前的数据表发现有了记录
image.png


注意

点了采集后在想重复采集时,你可能会看到下面这张图片

image.png

页面的提示是 已经采集过的不可以在采集,现在有两种处理方式

  1. 删除采集好的数据在次采集(你就看不到历史的采集记录了)
  2. 寻找代码,进行更改,实现多次采集,很显然下面我们将会去修改代码达到相应的需求

作为一个研究过的人来直接说处理方式

1.  找到 skycaiji\SkycaijiApp\admin\event\Cpattern.php
2.  大概在 1745 行 ,找到 if($this->config['url_repeat']||$mcollected->getCountByUrl($cont_url)<=0){
就是经过这里的判断后,不在重复抓取相同的网址
3.  直接注释转为  if(true){  就可以重复抓取相同的网址

image.png

在次点击采集

image.png

已经可以重复抓取


自定义插件

image.png

先去目录/plugin/release/diy目录中创建Astar.php, 下面是我的astar.php的源码

<?php
namespace plugin\release\diy;
/*自定义插件:类名首字母必须大写*/
class Astar extends BaseDiy{
	/*数据库连接信息*/
	public $connection = array(
	    'db_type'	 => 'mysql', //类型
	    'db_host'    => 'localhost', //服务器
	    'db_name'    => 'skycaiji', //库名称
	    'db_user'    => 'root', //用户名
	    'db_pwd'     => 'root', //密码
	    'db_port'    => 3306, //端口
		'db_prefix'  => 'skycaiji_pro_list_copy', //表名
	    'db_charset' => 'utf8', //编码
	);
	/**
	 * 导入数据
	 * @param string $url 采集的页面网址
	 * @param array $fields 采集到的字段数据列表
	 */
	public function runImport($url,$fields){
		/*
		 * -----这里开始写代码-----
		 * 数据库操作:$this->db() 可参考thinkphp5的数据库操作
		 * 获取字段值必须使用 $this->get_field_val($field);方法(可处理图片本地化等),否则使用$field['value']调用字段原始值
		 */
              // 这里是需要保存的数据
		 $data = [
			'product'=>trim($fields['name']['value']),
			'url'=>$url,
			'num'=>trim($fields['num']['value']),
			'ctime'=>time()
		 ];
		$this->db->insert($data);
        $id = $this->db->getLastInsID();
//  这里可以做任何的逻辑,比如通知相关人员
		/*
		 * 必须以数组形式返回:
		 * id(必填)表示入库返回的自增id或状态
		 * target(可选)记录入库的数据位置(发布的网址等)
		 * desc(可选)记录入库的数据位置附加信息
		 * error(可选)记录入库失败的错误信息
		 * 入库的信息可在“已采集数据”中查看
		 */
		return array('id'=>$id,'target'=>'skycaiji_pro_list_copy','desc'=>$id,'error'=>'');
	}
}
?>

下图我采集到的一些测试数据列表,真实数据在库里

image.png

如果使用中发现什么问题,可以评论一起探讨…

                       

点击阅读全文

上一篇 2023年 5月 27日 am10:16
下一篇 2023年 5月 27日 am10:17