前言:說到爬蟲,基本上清一色的都知道用Python,但是對於一些沒玩過或者不想玩Python的來說,卻比較頭大一點。所以以下我站在C# 的角度,來寫一個簡單的Demo,用來演示C# 實現的簡單小爬蟲。大家感興趣可以自己拓展出更加豐富的爬蟲功能。 前提:引用包HtmlAgilityPack 先來個爬取 ...
前言:說到爬蟲,基本上清一色的都知道用Python,但是對於一些沒玩過或者不想玩Python的來說,卻比較頭大一點。所以以下我站在C# 的角度,來寫一個簡單的Demo,用來演示C# 實現的簡單小爬蟲。大家感興趣可以自己拓展出更加豐富的爬蟲功能。
前提:引用包HtmlAgilityPack
先來個爬取文本。
新建一個文本處理的方法,用於處理爬取的文本數據,並寫入到指定文件夾內的text.txt文件內
![0](https://img2024.cnblogs.com/blog/1995789/202405/1995789-20240527224018810-541953241.png)
static async Task ProcessText(HtmlDocument doc, string textDir)
{
var textNodes = doc.DocumentNode.SelectNodes("//*[text()]");
if (textNodes != null)
{
StringBuilder allText = new StringBuilder();
foreach (HtmlNode node in textNodes.Where(node => !string.IsNullOrWhiteSpace(node.InnerText)))
{
string textContent = WebUtility.HtmlDecode(node.InnerText.Trim());
if (!string.IsNullOrWhiteSpace(textContent))
{
allText.AppendLine(textContent);
}
}
string filePath = Path.Combine(textDir, "text.txt");
await File.WriteAllTextAsync(filePath, allText.ToString());
}
}
新增一個網頁處理方法,用於傳入網址進行抓取網頁數據,並傳給以上的文本處理方法進行解析文本數據,保存到當前根目錄下的Texts文件夾內
![0](https://img2024.cnblogs.com/blog/1995789/202405/1995789-20240527224018943-2095131497.png)
![0](https://img2024.cnblogs.com/blog/1995789/202405/1995789-20240527224018987-92873157.png)
![0](https://img2024.cnblogs.com/blog/1995789/202405/1995789-20240527224018967-1937234401.png)
![0](https://img2024.cnblogs.com/blog/1995789/202405/1995789-20240527224018785-1954682488.png)
![0](https://img2024.cnblogs.com/blog/1995789/202405/1995789-20240527224018916-72841545.png)
![0](https://img2024.cnblogs.com/blog/1995789/202405/1995789-20240527224018774-319215684.png)
![0](https://img2024.cnblogs.com/blog/1995789/202405/1995789-20240527224018967-537653899.png)
![0](https://img2024.cnblogs.com/blog/1995789/202405/1995789-20240527224018966-1760631395.png)
static async Task ProcessImages(HtmlDocument doc, string baseUrl, string imagesDir)
{
var imageNodes = doc.DocumentNode.SelectNodes("//img[@src]");
if (imageNodes != null)
{
foreach (HtmlNode imageNode in imageNodes)
{
string imageUrl = imageNode.GetAttributeValue("src", null);
imageUrl = EnsureAbsoluteUrl(baseUrl, imageUrl);
string fileName = Path.GetFileName(new Uri(imageUrl).LocalPath);
string localPath = Path.Combine(imagesDir, fileName);
byte[] imageBytes = await client.GetByteArrayAsync(imageUrl);
await File.WriteAllBytesAsync(localPath, imageBytes);
}
}
}
網頁爬取方法裡面把文本有關改成圖片
![0](https://img2024.cnblogs.com/blog/1995789/202405/1995789-20240527224018798-1435056310.png)
![0](https://img2024.cnblogs.com/blog/1995789/202405/1995789-20240527224018944-474885993.png)
![0](https://img2024.cnblogs.com/blog/1995789/202405/1995789-20240527224018968-430002343.png)
![0](https://img2024.cnblogs.com/blog/1995789/202405/1995789-20240527224018811-249258319.png)
static async Task ProcessVideos(HtmlDocument doc, string baseUrl, string videosDir)
{
var videoNodes = doc.DocumentNode.SelectNodes("//video/source[@src]");
if (videoNodes != null)
{
foreach (HtmlNode videoNode in videoNodes)
{
string videoUrl = videoNode.GetAttributeValue("src", null);
videoUrl = EnsureAbsoluteUrl(baseUrl, videoUrl);
string videoName = Path.GetFileName(new Uri(videoUrl).LocalPath);
string videoPath = Path.Combine(videosDir, videoName);
byte[] videoBytes = await client.GetByteArrayAsync(videoUrl);
await File.WriteAllBytesAsync(videoPath, videoBytes);
}
}
}
如果大佬們想要直接獲取我本地測試的源碼demo,可以在我的公眾號【Dotnet Dancer】後臺回覆:【爬蟲】 即可獲取我的本地demo源碼自行調試和把玩。
最近園子時不時會圖片全掛掉,如果圖片沒掉了,可以移步另一個地方圍觀:
https://mp.weixin.qq.com/s/NB2UWsfUdgNU82UVRbWe3Q
如果以上內容對你有幫助,歡迎關註我的公眾號【Dotnet Dancer】,或點贊、推薦和分享。我會時不時更新一些其他C#或者其他技術文章。
歡迎加入QQ群: 群號:1079830632![WeskyNet交流群 WeskyNet交流群](http://pub.idqqimg.com/wpa/images/group.png)