使用正則表達式實現(xiàn)網(wǎng)頁爬蟲的思路詳解
網(wǎng)頁爬蟲:就是一個程序用于在互聯(lián)網(wǎng)中獲取指定規(guī)則的數(shù)據(jù)。
思路:
1.為模擬網(wǎng)頁爬蟲,我們可以現(xiàn)在我們的tomcat服務器端部署一個1.html網(wǎng)頁。(部署的步驟:在tomcat目錄的webapps目錄的ROOTS目錄下新建一個1.html。使用notepad++進行編輯,編輯內(nèi)容為:
)
2.使用URL與網(wǎng)頁建立聯(lián)系
3.獲取輸入流,用于讀取網(wǎng)頁中的內(nèi)容
4.建立正則規(guī)則,因為這里我們是爬去網(wǎng)頁中的郵箱信息,所以建立匹配 郵箱的正則表達式:String regex="\w+@\w+(\.\w+)+";
5.將提取到的數(shù)據(jù)放到集合中。
代碼:
import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
* 網(wǎng)頁爬蟲:就是一個程序用于在互聯(lián)網(wǎng)中獲取指定規(guī)則的數(shù)據(jù)
*
*
*/
public class RegexDemo {
public static void main(String[] args) throws Exception {
List<String> list=getMailByWeb();
for(String str:list){
System.out.println(str);
}
}
private static List<String> getMailByWeb() throws Exception {
//1.與網(wǎng)頁建立聯(lián)系。使用URL
String path="http://localhost:8080//1.html";//后面寫雙斜杠是用于轉義
URL url=new URL(path);
//2.獲取輸入流
InputStream is=url.openStream();
//加緩沖
BufferedReader br=new BufferedReader(new InputStreamReader(is));
//3.提取符合郵箱的數(shù)據(jù)
String regex="\\w+@\\w+(\\.\\w+)+";
//進行匹配
//將正則規(guī)則封裝成對象
Pattern p=Pattern.compile(regex);
//將提取到的數(shù)據(jù)放到一個集合中
List<String> list=new ArrayList<String>();
String line=null;
while((line=br.readLine())!=null){
//匹配器
Matcher m=p.matcher(line);
while(m.find()){
//3.將符合規(guī)則的數(shù)據(jù)存儲到集合中
list.add(m.group());
}
}
return list;
}
}
注意:在執(zhí)行前需要先開啟tomcat服務器
運行結果:
總結
以上所述是小編給大家介紹的使用正則表達式實現(xiàn)網(wǎng)頁爬蟲的思路詳解,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對我們網(wǎng)站的支持!
欄 目:正則表達式
下一篇:淺談正則速記法的技巧
本文標題:使用正則表達式實現(xiàn)網(wǎng)頁爬蟲的思路詳解
本文地址:http://m.jygsgssxh.com/a1/zhengzebiaodashi/11192.html
您可能感興趣的文章
- 01-11正則表達式實現(xiàn)添加、刪除、替換三種功能
- 01-11python 用正則表達式篩選文本信息的實例
- 01-11正則表達式之匹配數(shù)字范圍
- 01-11python爬蟲正則表達式之處理換行符
- 01-11正則表達式匹配路由的實現(xiàn)代碼
- 01-11正則表達式截取身份證號碼加密的方法
- 01-11js正則表達式 匹配兩個特定字符間的內(nèi)容示例
- 01-11MySQL使用正則表達式進行查詢操作經(jīng)典實例總結
- 01-11python正則表達式之對號入座篇
- 01-11詳解正則表達式實現(xiàn)二代身份證號碼驗證


閱讀排行
本欄相關
- 01-11正則表達式實現(xiàn)添加、刪除、替換三
- 01-11正則表達式之匹配數(shù)字范圍
- 01-11python 用正則表達式篩選文本信息的實
- 01-11正則表達式匹配路由的實現(xiàn)代碼
- 01-11python爬蟲正則表達式之處理換行符
- 01-11js正則表達式 匹配兩個特定字符間的
- 01-11正則表達式截取身份證號碼加密的方
- 01-11python正則表達式之對號入座篇
- 01-11MySQL使用正則表達式進行查詢操作經(jīng)典
- 01-11詳解正則表達式實現(xiàn)二代身份證號碼
隨機閱讀
- 04-02jquery與jsp,用jquery
- 01-11ajax實現(xiàn)頁面的局部加載
- 08-05DEDE織夢data目錄下的sessions文件夾有什
- 08-05dedecms(織夢)副欄目數(shù)量限制代碼修改
- 01-11Mac OSX 打開原生自帶讀寫NTFS功能(圖文
- 01-10使用C語言求解撲克牌的順子及n個骰子
- 08-05織夢dedecms什么時候用欄目交叉功能?
- 01-10delphi制作wav文件的方法
- 01-10SublimeText編譯C開發(fā)環(huán)境設置
- 01-10C#中split用法實例總結


