将 core 模块重命名为 spider

browser/pom.xml

@@ -15,7 +15,7 @@
     <dependencies>
         <dependency>
             <groupId>cn.reghao.bnt</groupId>
-            <artifactId>core</artifactId>
+            <artifactId>spider</artifactId>
             <version>1.0.0-SNAPSHOT</version>
         </dependency>
 

browser/src/main/java/cn/reghao/bnt/browser/SpiderBrowser.java

@@ -4,8 +4,8 @@ import cn.reghao.bnt.browser.parser.ChromeDataParser;
 import cn.reghao.bnt.browser.chrome.AbstractChrome;
 import cn.reghao.bnt.browser.chrome.ChromeBrowser;
 import cn.reghao.bnt.browser.chrome.ReqMatcher;
-import cn.reghao.bnt.core.url.BodyDataType;
-import cn.reghao.bnt.core.url.Site;
+import cn.reghao.bnt.spider.url.BodyDataType;
+import cn.reghao.bnt.spider.url.Site;
 
 import java.util.HashMap;
 import java.util.HashSet;

browser/src/main/java/cn/reghao/bnt/browser/cdp/handler/result/GetResponseBodyResultHandler.java

@@ -2,8 +2,8 @@ package cn.reghao.bnt.browser.cdp.handler.result;
 
 import cn.reghao.bnt.browser.chrome.PageRequest;
 import cn.reghao.bnt.browser.chrome.ReqInPage;
-import cn.reghao.bnt.core.parser.DataParser;
-import cn.reghao.bnt.core.url.BodyDataType;
+import cn.reghao.bnt.spider.parser.DataParser;
+import cn.reghao.bnt.spider.url.BodyDataType;
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
 import cn.reghao.bnt.browser.cdp.handler.CdpHandler;
 import com.google.gson.JsonArray;

browser/src/main/java/cn/reghao/bnt/browser/chrome/ReqMatcher.java

@@ -1,8 +1,8 @@
 package cn.reghao.bnt.browser.chrome;
 
-import cn.reghao.bnt.core.parser.DataParser;
-import cn.reghao.bnt.core.url.BodyDataType;
-import cn.reghao.bnt.core.url.Site;
+import cn.reghao.bnt.spider.parser.DataParser;
+import cn.reghao.bnt.spider.url.BodyDataType;
+import cn.reghao.bnt.spider.url.Site;
 import lombok.Data;
 
 /**

browser/src/main/java/cn/reghao/bnt/browser/parser/ChromeDataParser.java

@@ -6,10 +6,10 @@ import cn.reghao.jutil.jdk.result.WebResult;
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
 import cn.reghao.jutil.tool.http.DefaultWebRequest;
 import cn.reghao.bnt.browser.SpiderBrowser;
-import cn.reghao.bnt.core.parser.DataParser;
-import cn.reghao.bnt.core.url.CrawlUrl;
-import cn.reghao.bnt.core.url.RawData;
-import cn.reghao.bnt.core.url.Site;
+import cn.reghao.bnt.spider.parser.DataParser;
+import cn.reghao.bnt.spider.url.CrawlUrl;
+import cn.reghao.bnt.spider.url.RawData;
+import cn.reghao.bnt.spider.url.Site;
 import com.google.gson.reflect.TypeToken;
 import lombok.extern.slf4j.Slf4j;
 

crawler/pom.xml

@@ -15,7 +15,7 @@
     <dependencies>
         <dependency>
             <groupId>cn.reghao.bnt</groupId>
-            <artifactId>core</artifactId>
+            <artifactId>spider</artifactId>
             <version>1.0.0-SNAPSHOT</version>
         </dependency>
     </dependencies>

crawler/src/main/java/cn/reghao/bnt/crawler/Crawler.java

@@ -2,10 +2,10 @@ package cn.reghao.bnt.crawler;
 
 import cn.reghao.bnt.crawler.task.SiteParserGetter;
 import cn.reghao.jutil.jdk.thread.ThreadPoolWrapper;
-import cn.reghao.bnt.core.http.CrawlRequest;
-import cn.reghao.bnt.core.http.DefaultCrawlRequest;
-import cn.reghao.bnt.core.parser.SiteParser;
-import cn.reghao.bnt.core.url.UrlScheduler;
+import cn.reghao.bnt.spider.http.CrawlRequest;
+import cn.reghao.bnt.spider.http.DefaultCrawlRequest;
+import cn.reghao.bnt.spider.parser.SiteParser;
+import cn.reghao.bnt.spider.url.UrlScheduler;
 import cn.reghao.bnt.crawler.impl.HttpUrlScheduler;
 import cn.reghao.bnt.crawler.task.DataProducer;
 

crawler/src/main/java/cn/reghao/bnt/crawler/impl/HttpUrlScheduler.java

@@ -1,11 +1,11 @@
 package cn.reghao.bnt.crawler.impl;
 
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.url.UrlScheduler;
-import cn.reghao.bnt.core.event.EvtCrawl;
-import cn.reghao.bnt.core.url.RawData;
-import cn.reghao.bnt.core.url.CrawlUrl;
-import cn.reghao.bnt.core.parser.SiteParser;
+import cn.reghao.bnt.spider.url.UrlScheduler;
+import cn.reghao.bnt.spider.event.EvtCrawl;
+import cn.reghao.bnt.spider.url.RawData;
+import cn.reghao.bnt.spider.url.CrawlUrl;
+import cn.reghao.bnt.spider.parser.SiteParser;
 import com.google.gson.JsonObject;
 
 import java.net.URI;

crawler/src/main/java/cn/reghao/bnt/crawler/task/DataProducer.java

@@ -1,13 +1,13 @@
 package cn.reghao.bnt.crawler.task;
 
 import cn.reghao.bnt.crawler.Crawler;
-import cn.reghao.bnt.core.url.RawData;
-import cn.reghao.bnt.core.event.EvtCrawl;
-import cn.reghao.bnt.core.http.CrawlRequest;
-import cn.reghao.bnt.core.http.CrawlResponse;
-import cn.reghao.bnt.core.url.CrawlUrl;
-import cn.reghao.bnt.core.parser.SiteParser;
-import cn.reghao.bnt.core.url.UrlScheduler;
+import cn.reghao.bnt.spider.url.RawData;
+import cn.reghao.bnt.spider.event.EvtCrawl;
+import cn.reghao.bnt.spider.http.CrawlRequest;
+import cn.reghao.bnt.spider.http.CrawlResponse;
+import cn.reghao.bnt.spider.url.CrawlUrl;
+import cn.reghao.bnt.spider.parser.SiteParser;
+import cn.reghao.bnt.spider.url.UrlScheduler;
 
 import java.util.LinkedList;
 import java.util.Queue;

crawler/src/main/java/cn/reghao/bnt/crawler/task/SiteParserGetter.java

@@ -1,6 +1,6 @@
 package cn.reghao.bnt.crawler.task;
 
-import cn.reghao.bnt.core.url.UrlScheduler;
+import cn.reghao.bnt.spider.url.UrlScheduler;
 import cn.reghao.bnt.crawler.Crawler;
 
 /**

pom.xml

@@ -13,7 +13,7 @@
         <module>agent</module>
         <module>logstash</module>
         <module>deployer</module>
-        <module>core</module>
+        <module>spider</module>
         <module>browser</module>
         <module>crawler</module>
     </modules>

core/pom.xml → spider/pom.xml

@@ -9,6 +9,6 @@
     </parent>
     <modelVersion>4.0.0</modelVersion>
 
-    <artifactId>core</artifactId>
+    <artifactId>spider</artifactId>
     <version>1.0.0-SNAPSHOT</version>
 </project>

core/src/main/java/cn/reghao/bnt/core/event/EvtCrawl.java → spider/src/main/java/cn/reghao/bnt/spider/event/EvtCrawl.java

@@ -1,4 +1,4 @@
-package cn.reghao.bnt.core.event;
+package cn.reghao.bnt.spider.event;
 
 import cn.reghao.jutil.jdk.event.message.Event;
 

core/src/main/java/cn/reghao/bnt/core/event/EvtNoUrl.java → spider/src/main/java/cn/reghao/bnt/spider/event/EvtNoUrl.java

@@ -1,4 +1,4 @@
-package cn.reghao.bnt.core.event;
+package cn.reghao.bnt.spider.event;
 
 import cn.reghao.jutil.jdk.event.message.Event;
 

core/src/main/java/cn/reghao/bnt/core/http/CrawlRequest.java → spider/src/main/java/cn/reghao/bnt/spider/http/CrawlRequest.java

@@ -1,6 +1,6 @@
-package cn.reghao.bnt.core.http;
+package cn.reghao.bnt.spider.http;
 
-import cn.reghao.bnt.core.url.CrawlUrl;
+import cn.reghao.bnt.spider.url.CrawlUrl;
 
 import java.io.File;
 

core/src/main/java/cn/reghao/bnt/core/http/CrawlResponse.java → spider/src/main/java/cn/reghao/bnt/spider/http/CrawlResponse.java

@@ -1,4 +1,4 @@
-package cn.reghao.bnt.core.http;
+package cn.reghao.bnt.spider.http;
 
 /**
  * 爬虫响应

core/src/main/java/cn/reghao/bnt/core/http/DefaultCrawlRequest.java → spider/src/main/java/cn/reghao/bnt/spider/http/DefaultCrawlRequest.java

@@ -1,8 +1,8 @@
-package cn.reghao.bnt.core.http;
+package cn.reghao.bnt.spider.http;
 
 import cn.reghao.jutil.tool.http.BaseWebRequest;
 import cn.reghao.jutil.jdk.http.util.UserAgents;
-import cn.reghao.bnt.core.url.CrawlUrl;
+import cn.reghao.bnt.spider.url.CrawlUrl;
 import org.apache.http.*;
 import org.apache.http.client.methods.CloseableHttpResponse;
 import org.apache.http.client.methods.HttpGet;

core/src/main/java/cn/reghao/bnt/core/http/JdkCrawlRequest.java → spider/src/main/java/cn/reghao/bnt/spider/http/JdkCrawlRequest.java

@@ -1,6 +1,6 @@
-package cn.reghao.bnt.core.http;
+package cn.reghao.bnt.spider.http;
 
-import cn.reghao.bnt.core.url.CrawlUrl;
+import cn.reghao.bnt.spider.url.CrawlUrl;
 import cn.reghao.jutil.jdk.http.util.UserAgents;
 
 import java.io.File;

core/src/main/java/cn/reghao/bnt/core/parser/DataParser.java → spider/src/main/java/cn/reghao/bnt/spider/parser/DataParser.java

@@ -1,4 +1,4 @@
-package cn.reghao.bnt.core.parser;
+package cn.reghao.bnt.spider.parser;
 
 import java.util.Map;
 

core/src/main/java/cn/reghao/bnt/core/parser/SiteParser.java → spider/src/main/java/cn/reghao/bnt/spider/parser/SiteParser.java

@@ -1,4 +1,4 @@
-package cn.reghao.bnt.core.parser;
+package cn.reghao.bnt.spider.parser;
 
 import java.io.Serializable;
 

core/src/main/java/cn/reghao/bnt/core/url/BodyDataType.java → spider/src/main/java/cn/reghao/bnt/spider/url/BodyDataType.java

@@ -1,4 +1,4 @@
-package cn.reghao.bnt.core.url;
+package cn.reghao.bnt.spider.url;
 
 /**
  * HTTP 响应数据的格式

core/src/main/java/cn/reghao/bnt/core/url/CrawlUrl.java → spider/src/main/java/cn/reghao/bnt/spider/url/CrawlUrl.java

@@ -1,4 +1,4 @@
-package cn.reghao.bnt.core.url;
+package cn.reghao.bnt.spider.url;
 
 import java.io.Serializable;
 

core/src/main/java/cn/reghao/bnt/core/url/RawData.java → spider/src/main/java/cn/reghao/bnt/spider/url/RawData.java

@@ -1,4 +1,4 @@
-package cn.reghao.bnt.core.url;
+package cn.reghao.bnt.spider.url;
 
 import java.io.Serializable;
 

core/src/main/java/cn/reghao/bnt/core/url/Site.java → spider/src/main/java/cn/reghao/bnt/spider/url/Site.java

@@ -1,4 +1,4 @@
-package cn.reghao.bnt.core.url;
+package cn.reghao.bnt.spider.url;
 
 /**
  * @author reghao

core/src/main/java/cn/reghao/bnt/core/url/UrlScheduler.java → spider/src/main/java/cn/reghao/bnt/spider/url/UrlScheduler.java

@@ -1,8 +1,8 @@
-package cn.reghao.bnt.core.url;
+package cn.reghao.bnt.spider.url;
 
-import cn.reghao.bnt.core.event.EvtCrawl;
-import cn.reghao.bnt.core.event.EvtNoUrl;
-import cn.reghao.bnt.core.parser.SiteParser;
+import cn.reghao.bnt.spider.event.EvtCrawl;
+import cn.reghao.bnt.spider.event.EvtNoUrl;
+import cn.reghao.bnt.spider.parser.SiteParser;
 
 import java.util.List;
 import java.util.Set;

web/pom.xml

@@ -172,7 +172,7 @@
         </dependency>
         <dependency>
             <groupId>cn.reghao.bnt</groupId>
-            <artifactId>core</artifactId>
+            <artifactId>spider</artifactId>
             <version>1.0.0-SNAPSHOT</version>
         </dependency>
         <dependency>

web/src/main/java/cn/reghao/bnt/web/parser/consumer/RawDataConsumer.java

@@ -1,7 +1,7 @@
 package cn.reghao.bnt.web.parser.consumer;
 
-import cn.reghao.bnt.core.url.CrawlUrl;
-import cn.reghao.bnt.core.url.RawData;
+import cn.reghao.bnt.spider.url.CrawlUrl;
+import cn.reghao.bnt.spider.url.RawData;
 import cn.reghao.bnt.web.parser.db.mongo.UnparsedDataMongo;
 import cn.reghao.bnt.web.parser.db.mongo.UrlResourceMongo;
 import cn.reghao.bnt.web.parser.model.po.UnparsedData;

web/src/main/java/cn/reghao/bnt/web/parser/consumer/RawDataStore.java

@@ -1,7 +1,7 @@
 package cn.reghao.bnt.web.parser.consumer;
 
 import cn.reghao.jutil.jdk.thread.ThreadPoolWrapper;
-import cn.reghao.bnt.core.url.RawData;
+import cn.reghao.bnt.spider.url.RawData;
 import cn.reghao.bnt.web.parser.db.mongo.UnparsedDataMongo;
 import cn.reghao.bnt.web.parser.db.mongo.UrlResourceMongo;
 import org.springframework.stereotype.Component;

web/src/main/java/cn/reghao/bnt/web/parser/consumer/UnparsedDataParser.java

@@ -3,8 +3,8 @@ package cn.reghao.bnt.web.parser.consumer;
 import cn.reghao.bnt.web.parser.db.mongo.UnparsedDataMongo;
 import cn.reghao.bnt.web.parser.db.mongo.UrlResourceMongo;
 import cn.reghao.bnt.web.parser.model.po.UnparsedData;
-import cn.reghao.bnt.core.parser.DataParser;
-import cn.reghao.bnt.core.url.RawData;
+import cn.reghao.bnt.spider.parser.DataParser;
+import cn.reghao.bnt.spider.url.RawData;
 import lombok.extern.slf4j.Slf4j;
 
 import java.util.List;

web/src/main/java/cn/reghao/bnt/web/parser/consumer/UnparsedDataStore.java

@@ -1,7 +1,7 @@
 package cn.reghao.bnt.web.parser.consumer;
 
 import cn.reghao.jutil.jdk.thread.ThreadPoolWrapper;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.parser.DataParser;
 import cn.reghao.bnt.web.parser.db.mongo.UnparsedDataMongo;
 import cn.reghao.bnt.web.parser.db.mongo.UrlResourceMongo;
 import cn.reghao.bnt.web.parser.model.po.UnparsedData;

web/src/main/java/cn/reghao/bnt/web/parser/controller/CrawlerController.java

@@ -1,7 +1,7 @@
 package cn.reghao.bnt.web.parser.controller;
 
 import cn.reghao.jutil.jdk.result.WebResult;
-import cn.reghao.bnt.core.url.RawData;
+import cn.reghao.bnt.spider.url.RawData;
 import cn.reghao.bnt.web.parser.consumer.UnparsedDataStore;
 import org.springframework.web.bind.annotation.*;
 

web/src/main/java/cn/reghao/bnt/web/parser/controller/UrlController.java

@@ -1,10 +1,10 @@
 package cn.reghao.bnt.web.parser.controller;
 
 import cn.reghao.jutil.jdk.result.WebResult;
-import cn.reghao.bnt.core.event.EvtCrawl;
-import cn.reghao.bnt.core.event.EvtNoUrl;
-import cn.reghao.bnt.core.parser.SiteParser;
-import cn.reghao.bnt.core.url.CrawlUrl;
+import cn.reghao.bnt.spider.event.EvtCrawl;
+import cn.reghao.bnt.spider.event.EvtNoUrl;
+import cn.reghao.bnt.spider.parser.SiteParser;
+import cn.reghao.bnt.spider.url.CrawlUrl;
 import cn.reghao.bnt.web.parser.service.UrlSchedulerService;
 import org.springframework.http.MediaType;
 import org.springframework.web.bind.annotation.*;

web/src/main/java/cn/reghao/bnt/web/parser/crawler/CrawlerContext.java

@@ -4,9 +4,9 @@ import cn.reghao.jutil.jdk.http.WebRequest;
 import cn.reghao.jutil.jdk.http.WebResponse;
 import cn.reghao.jutil.jdk.text.TextFile;
 import cn.reghao.jutil.tool.http.DefaultWebRequest;
-import cn.reghao.bnt.core.url.CrawlUrl;
-import cn.reghao.bnt.core.url.RawData;
-import cn.reghao.bnt.core.url.Site;
+import cn.reghao.bnt.spider.url.CrawlUrl;
+import cn.reghao.bnt.spider.url.RawData;
+import cn.reghao.bnt.spider.url.Site;
 import cn.reghao.bnt.web.config.AppProperties;
 import cn.reghao.bnt.web.parser.consumer.RawDataStore;
 import cn.reghao.bnt.web.parser.db.mongo.UrlResourceMongo;

web/src/main/java/cn/reghao/bnt/web/parser/db/mongo/UrlResourceMongo.java

@@ -2,7 +2,7 @@ package cn.reghao.bnt.web.parser.db.mongo;
 
 import cn.reghao.jutil.jdk.db.BaseCrud;
 import cn.reghao.jutil.jdk.db.BaseQuery;
-import cn.reghao.bnt.core.parser.SiteParser;
+import cn.reghao.bnt.spider.parser.SiteParser;
 import cn.reghao.bnt.web.parser.model.po.UrlResource;
 import cn.reghao.bnt.web.parser.model.vo.UrlResourceStatistics;
 import com.mongodb.BasicDBObject;

web/src/main/java/cn/reghao/bnt/web/parser/model/po/UnparsedData.java

@@ -1,8 +1,8 @@
 package cn.reghao.bnt.web.parser.model.po;
 
 import cn.reghao.jutil.jdk.db.BaseObject;
-import cn.reghao.bnt.core.url.CrawlUrl;
-import cn.reghao.bnt.core.url.RawData;
+import cn.reghao.bnt.spider.url.CrawlUrl;
+import cn.reghao.bnt.spider.url.RawData;
 import lombok.Data;
 import lombok.EqualsAndHashCode;
 import lombok.NoArgsConstructor;

web/src/main/java/cn/reghao/bnt/web/parser/model/po/UrlResource.java

@@ -1,9 +1,9 @@
 package cn.reghao.bnt.web.parser.model.po;
 
 import cn.reghao.jutil.jdk.db.BaseObject;
-import cn.reghao.bnt.core.url.BodyDataType;
-import cn.reghao.bnt.core.url.CrawlUrl;
-import cn.reghao.bnt.core.url.Site;
+import cn.reghao.bnt.spider.url.BodyDataType;
+import cn.reghao.bnt.spider.url.CrawlUrl;
+import cn.reghao.bnt.spider.url.Site;
 import lombok.Data;
 import lombok.NoArgsConstructor;
 

web/src/main/java/cn/reghao/bnt/web/parser/service/UrlSchedulerService.java

@@ -1,12 +1,12 @@
 package cn.reghao.bnt.web.parser.service;
 
-import cn.reghao.bnt.core.event.EvtCrawl;
-import cn.reghao.bnt.core.event.EvtNoUrl;
-import cn.reghao.bnt.core.parser.SiteParser;
-import cn.reghao.bnt.core.url.CrawlUrl;
-import cn.reghao.bnt.core.url.RawData;
-import cn.reghao.bnt.core.url.Site;
-import cn.reghao.bnt.core.url.UrlScheduler;
+import cn.reghao.bnt.spider.event.EvtCrawl;
+import cn.reghao.bnt.spider.event.EvtNoUrl;
+import cn.reghao.bnt.spider.parser.SiteParser;
+import cn.reghao.bnt.spider.url.CrawlUrl;
+import cn.reghao.bnt.spider.url.RawData;
+import cn.reghao.bnt.spider.url.Site;
+import cn.reghao.bnt.spider.url.UrlScheduler;
 import cn.reghao.bnt.web.parser.db.mongo.UrlResourceMongo;
 import cn.reghao.bnt.web.parser.model.po.UrlResource;
 import cn.reghao.bnt.web.parser.consumer.RawDataStore;

web/src/main/java/cn/reghao/bnt/web/parser/site/bilibili/BiliCommentDataParser.java

@@ -4,8 +4,8 @@ import cn.reghao.bnt.web.config.OssConsoleClientFactory;
 import cn.reghao.jutil.jdk.http.WebRequest;
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
 import cn.reghao.jutil.tool.http.DefaultWebRequest;
-import cn.reghao.bnt.core.parser.DataParser;
-import cn.reghao.bnt.core.url.CrawlUrl;
+import cn.reghao.bnt.spider.parser.DataParser;
+import cn.reghao.bnt.spider.url.CrawlUrl;
 import cn.reghao.bnt.web.parser.db.mongo.UrlResourceMongo;
 import cn.reghao.bnt.web.parser.model.po.UrlResource;
 import cn.reghao.bnt.web.parser.site.bilibili.api.BiliCrawlUrl;

web/src/main/java/cn/reghao/bnt/web/parser/site/bilibili/BiliDanmakuDataParser.java

@@ -2,7 +2,7 @@ package cn.reghao.bnt.web.parser.site.bilibili;
 
 import cn.reghao.jutil.jdk.http.util.UrlFormatter;
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.parser.DataParser;
 import cn.reghao.bnt.web.parser.site.bilibili.model.po.BiliDanmakuUrl;
 import com.google.gson.JsonObject;
 import lombok.extern.slf4j.Slf4j;

web/src/main/java/cn/reghao/bnt/web/parser/site/bilibili/BiliPageParser.java

@@ -2,8 +2,8 @@ package cn.reghao.bnt.web.parser.site.bilibili;
 
 import cn.reghao.jutil.jdk.http.util.UrlFormatter;
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.url.CrawlUrl;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.url.CrawlUrl;
+import cn.reghao.bnt.spider.parser.DataParser;
 import cn.reghao.bnt.web.parser.db.mongo.UrlResourceMongo;
 import cn.reghao.bnt.web.parser.model.po.UrlResource;
 import cn.reghao.bnt.web.parser.site.bilibili.api.BiliCrawlUrl;

web/src/main/java/cn/reghao/bnt/web/parser/site/bilibili/BiliRecommendDataParser.java

@@ -1,8 +1,8 @@
 package cn.reghao.bnt.web.parser.site.bilibili;
 
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.url.CrawlUrl;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.url.CrawlUrl;
+import cn.reghao.bnt.spider.parser.DataParser;
 import cn.reghao.bnt.web.parser.site.bilibili.api.BiliCrawlUrl;
 import com.google.gson.JsonArray;
 import com.google.gson.JsonObject;

web/src/main/java/cn/reghao/bnt/web/parser/site/bilibili/BiliVideoDataParser.java

@@ -2,7 +2,7 @@ package cn.reghao.bnt.web.parser.site.bilibili;
 
 import cn.reghao.jutil.jdk.converter.DateTimeConverter;
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.parser.DataParser;
 import cn.reghao.bnt.web.parser.site.bilibili.model.po.BiliUser;
 import cn.reghao.bnt.web.parser.site.bilibili.model.po.BiliVideo;
 import cn.reghao.bnt.web.parser.site.bilibili.model.vo.BiliDash;

web/src/main/java/cn/reghao/bnt/web/parser/site/bilibili/api/BiliCrawlUrl.java

@@ -1,8 +1,8 @@
 package cn.reghao.bnt.web.parser.site.bilibili.api;
 
-import cn.reghao.bnt.core.url.BodyDataType;
-import cn.reghao.bnt.core.url.CrawlUrl;
-import cn.reghao.bnt.core.url.Site;
+import cn.reghao.bnt.spider.url.BodyDataType;
+import cn.reghao.bnt.spider.url.CrawlUrl;
+import cn.reghao.bnt.spider.url.Site;
 import cn.reghao.bnt.web.parser.site.bilibili.BiliCommentDataParser;
 import cn.reghao.bnt.web.parser.site.bilibili.BiliVideoDataParser;
 

web/src/main/java/cn/reghao/bnt/web/parser/site/bilibili/util/BiliParserUtil.java

@@ -1,7 +1,7 @@
 package cn.reghao.bnt.web.parser.site.bilibili.util;
 
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.url.CrawlUrl;
+import cn.reghao.bnt.spider.url.CrawlUrl;
 import cn.reghao.bnt.web.parser.site.bilibili.api.BiliCrawlUrl;
 import com.google.gson.JsonObject;
 import org.jsoup.nodes.Document;

web/src/main/java/cn/reghao/bnt/web/parser/site/taobao/BuyerShowDataParser.java

@@ -2,7 +2,7 @@ package cn.reghao.bnt.web.parser.site.taobao;
 
 import cn.reghao.jutil.jdk.http.util.UrlFormatter;
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.parser.DataParser;
 import cn.reghao.bnt.web.parser.task.DataProducer;
 import com.google.gson.JsonArray;
 import com.google.gson.JsonObject;

web/src/main/java/cn/reghao/bnt/web/parser/site/taobao/HomeRcmdDataParser.java

@@ -3,7 +3,7 @@ package cn.reghao.bnt.web.parser.site.taobao;
 import cn.reghao.jutil.jdk.http.util.UrlFormatter;
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
 import cn.reghao.tnb.mall.api.dto.TaobaoItem;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.parser.DataParser;
 import cn.reghao.bnt.web.parser.task.feed.FeedService;
 import com.google.gson.JsonArray;
 import com.google.gson.JsonElement;

web/src/main/java/cn/reghao/bnt/web/parser/site/taobao/ItemPageDataParser.java

@@ -1,7 +1,7 @@
 package cn.reghao.bnt.web.parser.site.taobao;
 
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.parser.DataParser;
 import com.google.gson.JsonArray;
 import com.google.gson.JsonObject;
 import org.springframework.stereotype.Component;

web/src/main/java/cn/reghao/bnt/web/parser/site/taobao/TaobaoCommentDataParser.java

@@ -1,7 +1,7 @@
 package cn.reghao.bnt.web.parser.site.taobao;
 
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.parser.DataParser;
 import cn.reghao.bnt.web.parser.site.taobao.model.FileLocation;
 import cn.reghao.bnt.web.parser.site.taobao.model.TmallComment;
 import cn.reghao.bnt.web.parser.task.DataProducer;

web/src/main/java/cn/reghao/bnt/web/parser/site/taobao/TmallCommentDataParser.java

@@ -3,7 +3,7 @@ package cn.reghao.bnt.web.parser.site.taobao;
 
 import cn.reghao.jutil.jdk.http.util.UrlFormatter;
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.parser.DataParser;
 import cn.reghao.bnt.web.parser.task.DataProducer;
 import cn.reghao.bnt.web.parser.site.taobao.model.FileLocation;
 import cn.reghao.bnt.web.parser.site.taobao.model.TmallComment;

web/src/main/java/cn/reghao/bnt/web/parser/site/weibo/SameCityDataParser.java

@@ -2,7 +2,7 @@ package cn.reghao.bnt.web.parser.site.weibo;
 
 import cn.reghao.jutil.jdk.converter.DateTimeConverter;
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.parser.DataParser;
 import cn.reghao.bnt.web.parser.site.weibo.model.ImgParent;
 import cn.reghao.bnt.web.parser.site.weibo.model.po.WeiboImage;
 import cn.reghao.bnt.web.parser.site.weibo.model.po.WeiboStatus;

web/src/main/java/cn/reghao/bnt/web/parser/site/weibo/WeiboCommentDataParser.java

@@ -3,8 +3,8 @@ package cn.reghao.bnt.web.parser.site.weibo;
 import cn.reghao.jutil.jdk.converter.DateTimeConverter;
 import cn.reghao.jutil.jdk.http.util.UrlFormatter;
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.parser.DataParser;
-import cn.reghao.bnt.core.url.CrawlUrl;
+import cn.reghao.bnt.spider.parser.DataParser;
+import cn.reghao.bnt.spider.url.CrawlUrl;
 import cn.reghao.bnt.web.parser.site.weibo.model.ImgParent;
 import cn.reghao.bnt.web.parser.site.weibo.model.po.WeiboComment;
 import cn.reghao.bnt.web.parser.site.weibo.model.po.WeiboImage;

web/src/main/java/cn/reghao/bnt/web/parser/site/weibo/WeiboStatusDataParser.java

@@ -2,7 +2,7 @@ package cn.reghao.bnt.web.parser.site.weibo;
 
 import cn.reghao.jutil.jdk.converter.DateTimeConverter;
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.parser.DataParser;
 import cn.reghao.bnt.web.parser.site.weibo.model.ImgParent;
 import cn.reghao.bnt.web.parser.site.weibo.model.po.WeiboImage;
 import cn.reghao.bnt.web.parser.site.weibo.model.po.WeiboStatus;

web/src/main/java/cn/reghao/bnt/web/parser/site/weibo/WeiboUserDataParser.java

@@ -1,7 +1,7 @@
 package cn.reghao.bnt.web.parser.site.weibo;
 
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.parser.DataParser;
 import cn.reghao.bnt.web.parser.site.weibo.model.po.WeiboUser;
 import cn.reghao.bnt.web.parser.site.weibo.util.WeiboUtil;
 import com.google.gson.JsonObject;

web/src/main/java/cn/reghao/bnt/web/parser/site/weibo/WeiboVideoDataParser.java

@@ -1,7 +1,7 @@
 package cn.reghao.bnt.web.parser.site.weibo;
 
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.parser.DataParser;
 import com.google.gson.JsonArray;
 import com.google.gson.JsonObject;
 import org.springframework.stereotype.Component;

web/src/main/java/cn/reghao/bnt/web/parser/site/weibo/api/WeiboCrawlUrl.java

@@ -1,8 +1,8 @@
 package cn.reghao.bnt.web.parser.site.weibo.api;
 
-import cn.reghao.bnt.core.url.BodyDataType;
-import cn.reghao.bnt.core.url.CrawlUrl;
-import cn.reghao.bnt.core.url.Site;
+import cn.reghao.bnt.spider.url.BodyDataType;
+import cn.reghao.bnt.spider.url.CrawlUrl;
+import cn.reghao.bnt.spider.url.Site;
 import cn.reghao.bnt.web.parser.site.weibo.WeiboCommentDataParser;
 import cn.reghao.bnt.web.parser.site.weibo.WeiboStatusDataParser;
 import cn.reghao.bnt.web.parser.site.weibo.WeiboUserDataParser;

web/src/main/java/cn/reghao/bnt/web/parser/site/zhihu/CollectionQuestionDataParser.java

@@ -1,7 +1,7 @@
 package cn.reghao.bnt.web.parser.site.zhihu;
 
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.parser.DataParser;
 import com.google.gson.JsonElement;
 import com.google.gson.JsonObject;
 import org.springframework.stereotype.Component;

web/src/main/java/cn/reghao/bnt/web/parser/site/zhihu/TimelineQuestionDataParser.java

@@ -4,7 +4,7 @@ import cn.reghao.jutil.jdk.http.WebRequest;
 import cn.reghao.jutil.jdk.http.WebResponse;
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
 import cn.reghao.jutil.tool.http.DefaultWebRequest;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.parser.DataParser;
 import cn.reghao.bnt.web.parser.site.zhihu.model.vo.Article;
 import com.google.gson.JsonElement;
 import com.google.gson.JsonObject;

web/src/main/java/cn/reghao/bnt/web/parser/site/zhihu/ZhihuAnswerDataParser.java

@@ -5,7 +5,7 @@ import cn.reghao.jutil.jdk.http.WebRequest;
 import cn.reghao.jutil.jdk.http.WebResponse;
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
 import cn.reghao.jutil.tool.http.DefaultWebRequest;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.parser.DataParser;
 import cn.reghao.bnt.web.parser.site.zhihu.model.po.ZhihuAnswer;
 import cn.reghao.bnt.web.parser.site.zhihu.model.po.ZhihuUser;
 import cn.reghao.bnt.web.parser.site.zhihu.model.vo.Article;

web/src/main/java/cn/reghao/bnt/web/parser/site/zhihu/ZhihuCommentDataParser.java

@@ -2,7 +2,7 @@ package cn.reghao.bnt.web.parser.site.zhihu;
 
 import cn.reghao.jutil.jdk.converter.DateTimeConverter;
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.parser.DataParser;
 import cn.reghao.bnt.web.parser.site.zhihu.model.constant.CommentParent;
 import cn.reghao.bnt.web.parser.site.zhihu.model.constant.CommentParentType;
 import cn.reghao.bnt.web.parser.site.zhihu.model.po.ZhihuComment;

web/src/main/java/cn/reghao/bnt/web/parser/site/zhihu/ZhihuQuestionDataParser.java

@@ -2,7 +2,7 @@ package cn.reghao.bnt.web.parser.site.zhihu;
 
 import cn.reghao.jutil.jdk.converter.DateTimeConverter;
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.parser.DataParser;
 import cn.reghao.bnt.web.parser.site.zhihu.model.po.ZhihuQuestion;
 import cn.reghao.bnt.web.parser.site.zhihu.model.po.ZhihuTopic;
 import com.google.gson.JsonArray;

web/src/main/java/cn/reghao/bnt/web/parser/site/zhihu/ZhihuUserProfileDataParser.java

@@ -1,7 +1,7 @@
 package cn.reghao.bnt.web.parser.site.zhihu;
 
 import cn.reghao.jutil.jdk.serializer.JsonConverter;
-import cn.reghao.bnt.core.parser.DataParser;
+import cn.reghao.bnt.spider.parser.DataParser;
 import cn.reghao.bnt.web.parser.site.zhihu.model.po.ZhihuUserEducation;
 import cn.reghao.bnt.web.parser.site.zhihu.model.po.ZhihuUserEmployment;
 import com.google.gson.JsonArray;

web/src/main/java/cn/reghao/bnt/web/parser/task/feed/FeedService.java

@@ -5,7 +5,6 @@ import cn.reghao.jutil.jdk.converter.DateTimeConverter;
 import cn.reghao.jutil.jdk.http.WebRequest;
 import cn.reghao.jutil.tool.http.DefaultWebRequest;
 import cn.reghao.oss.sdk.OssConsoleClient;
-import cn.reghao.oss.sdk.model.OssConsoleConfig;
 import cn.reghao.oss.api.dto.media.ImageInfo;
 import cn.reghao.oss.api.rest.UploadFileRet;
 import cn.reghao.tnb.account.api.dto.CrawledUser;
@@ -16,7 +15,7 @@ import cn.reghao.tnb.content.api.dto.CommentUser;
 import cn.reghao.tnb.content.api.dto.DanmakuSbtDto;
 import cn.reghao.tnb.content.api.dto.spider.CrawledVideo;
 import cn.reghao.tnb.mall.api.dto.TaobaoItem;
-import cn.reghao.bnt.core.url.Site;
+import cn.reghao.bnt.spider.url.Site;
 import cn.reghao.bnt.web.parser.site.bilibili.model.po.BiliComment;
 import cn.reghao.bnt.web.parser.site.bilibili.model.po.BiliDanmaku;
 import cn.reghao.bnt.web.parser.site.bilibili.model.po.BiliUser;

web/src/main/java/cn/reghao/bnt/web/parser/task/feed/FeedTask.java

@@ -5,14 +5,13 @@ import cn.reghao.jutil.jdk.converter.DateTimeConverter;
 import cn.reghao.jutil.jdk.http.WebRequest;
 import cn.reghao.jutil.tool.http.DefaultWebRequest;
 import cn.reghao.oss.sdk.OssConsoleClient;
-import cn.reghao.oss.sdk.model.OssConsoleConfig;
 import cn.reghao.oss.api.dto.media.ImageInfo;
 import cn.reghao.oss.api.rest.UploadFileRet;
 import cn.reghao.tnb.account.api.dto.CrawledUser;
 import cn.reghao.tnb.content.api.constant.PostScope;
 import cn.reghao.tnb.content.api.dto.spider.CrawledVideo;
 
-import cn.reghao.bnt.core.url.Site;
+import cn.reghao.bnt.spider.url.Site;
 import cn.reghao.bnt.web.parser.site.bilibili.db.mongo.BiliUserMongo;
 import cn.reghao.bnt.web.parser.site.bilibili.db.mongo.BiliVideoMongo;
 import cn.reghao.bnt.web.parser.site.bilibili.model.po.BiliUser;

web/src/main/java/cn/reghao/bnt/web/parser/util/media/m3u8/M3u8Tool.java

@@ -1,8 +1,8 @@
 package cn.reghao.bnt.web.parser.util.media.m3u8;
 
 import cn.reghao.jutil.jdk.http.util.UrlFormatter;
-import cn.reghao.bnt.core.http.CrawlRequest;
-import cn.reghao.bnt.core.http.CrawlResponse;
+import cn.reghao.bnt.spider.http.CrawlRequest;
+import cn.reghao.bnt.spider.http.CrawlResponse;
 import cn.reghao.bnt.web.parser.util.FileCache;
 import lombok.extern.slf4j.Slf4j;
 

web/src/test/java/cn/reghao/bnt/web/parser/BiliCommentSpiderTest.java

@@ -6,8 +6,8 @@ import cn.reghao.jutil.jdk.serializer.JsonConverter;
 import cn.reghao.jutil.jdk.text.TextFile;
 import cn.reghao.jutil.tool.http.DefaultWebRequest;
 import cn.reghao.bnt.browser.chrome.ReqMatcher;
-import cn.reghao.bnt.core.url.BodyDataType;
-import cn.reghao.bnt.core.url.Site;
+import cn.reghao.bnt.spider.url.BodyDataType;
+import cn.reghao.bnt.spider.url.Site;
 import cn.reghao.bnt.web.parser.db.mongo.UnparsedDataMongo;
 import cn.reghao.bnt.web.parser.db.mongo.UrlResourceMongo;
 import cn.reghao.bnt.web.parser.model.po.UnparsedData;

web/src/test/java/cn/reghao/bnt/web/parser/BiliSpiderTest.java

@@ -13,10 +13,10 @@ import cn.reghao.jutil.tool.http.DefaultWebRequest;
 import cn.reghao.bnt.browser.chrome.AbstractChrome;
 import cn.reghao.bnt.browser.chrome.ChromeBrowser;
 import cn.reghao.bnt.browser.chrome.ReqMatcher;
-import cn.reghao.bnt.core.http.CrawlRequest;
-import cn.reghao.bnt.core.http.CrawlResponse;
-import cn.reghao.bnt.core.url.BodyDataType;
-import cn.reghao.bnt.core.url.Site;
+import cn.reghao.bnt.spider.http.CrawlRequest;
+import cn.reghao.bnt.spider.http.CrawlResponse;
+import cn.reghao.bnt.spider.url.BodyDataType;
+import cn.reghao.bnt.spider.url.Site;
 import cn.reghao.bnt.web.parser.db.mongo.UrlResourceMongo;
 import cn.reghao.bnt.web.parser.model.po.UrlResource;
 import cn.reghao.bnt.web.parser.site.bilibili.BiliPageParser;

web/src/test/java/cn/reghao/bnt/web/parser/CommonDataTest.java

@@ -1,6 +1,6 @@
 package cn.reghao.bnt.web.parser;
 
-import cn.reghao.bnt.core.url.Site;
+import cn.reghao.bnt.spider.url.Site;
 import cn.reghao.bnt.web.SpringApplication;
 import cn.reghao.bnt.web.parser.db.mongo.UnparsedDataMongo;
 import cn.reghao.bnt.web.parser.model.po.UnparsedData;

web/src/test/java/cn/reghao/bnt/web/parser/TmallSpiderTest.java

@@ -3,8 +3,8 @@ package cn.reghao.bnt.web.parser;
 import cn.reghao.bnt.browser.chrome.AbstractChrome;
 import cn.reghao.bnt.browser.chrome.ChromeBrowser;
 import cn.reghao.bnt.browser.chrome.ReqMatcher;
-import cn.reghao.bnt.core.url.BodyDataType;
-import cn.reghao.bnt.core.url.Site;
+import cn.reghao.bnt.spider.url.BodyDataType;
+import cn.reghao.bnt.spider.url.Site;
 import cn.reghao.bnt.web.SpringApplication;
 import cn.reghao.bnt.web.parser.site.taobao.*;
 import cn.reghao.bnt.web.parser.util.media.PhotoExif;

web/src/test/java/cn/reghao/bnt/web/parser/ZhihuSpiderTest.java

@@ -3,8 +3,8 @@ package cn.reghao.bnt.web.parser;
 import cn.reghao.bnt.browser.chrome.AbstractChrome;
 import cn.reghao.bnt.browser.chrome.ChromeBrowser;
 import cn.reghao.bnt.browser.chrome.ReqMatcher;
-import cn.reghao.bnt.core.url.BodyDataType;
-import cn.reghao.bnt.core.url.Site;
+import cn.reghao.bnt.spider.url.BodyDataType;
+import cn.reghao.bnt.spider.url.Site;
 import cn.reghao.bnt.web.SpringApplication;
 import cn.reghao.bnt.web.parser.db.mongo.UnparsedDataMongo;
 import cn.reghao.bnt.web.parser.db.mongo.UrlResourceMongo;