文章图片失效了，参考这篇文章吧

https://cibdglc9vxp.feishu.cn/wiki/YyctwHXAUiB6mEkCAb5cTpLOn9c?from=from_copylink

笔记链接获取

使用懒加载指令采集小红书笔记数据时常会报出“元素查找失败”的错误

打开F12检查会发现，明明页面已经加载了两百多个元素，而校验到的只有21个，其原因是小红书使用的不是懒加载技术而是虚拟列表

解决方式如下，通过无限循环加字典解决

具体方法说明如下

配置自定义对话框输入链接及保存路径

由于无限循环中每次都会获取一次相似元素列表，而相似元素列表中又有可能有重复数据，所以我选择用data-index属性作为键名，确保唯一性，(标题可能会存在一样的标题笔记，所以不以标题作为键名)

因为笔记链接在“//[@id="userPostedFeeds"]/section”获取不到，所以应该多捕获一个元素列表“//[@id="userPostedFeeds"]/section/div”

获取到笔记元素的源代码后，调用Python模块对源代码进行清洗，获取到index，标题，链接信息

Python代码如下

from common.util.shared_variables import GetSharedVariable
from common.util.elements_util import elementsFormatNew
from projects.rpaRoot import SZEnv
from ..global_data import SHIZAI_ELEMENT_DICT, globalVar
from ..global_data import run_module, print

from bs4 import BeautifulSoup
def data_index(html_content: str):
    soup = BeautifulSoup(html_content, 'html.parser')# 使用BeautifulSoup解析HTML
    element = soup.find(attrs={"data-index": True})# 查找所有带有data-index属性的元素
    data_index = element.get("data-index")# 提取data-index属性值
    return data_index
# def data_title(html_content: str):
#     soup = BeautifulSoup(html_content, 'html.parser')
#     element = soup.find('a', {'data-v-a264b01a': ''})#查找标题元素
#     data_title = element.text.strip()
def data_title(html_content: str):
    soup = BeautifulSoup(html_content, 'html.parser')
    # 查找包含标题的a标签
    element = soup.find('a', {'class': 'title'})
    if element:
        # 获取a标签内的span标签中的文本
        span = element.find('span')
        if span:
            return span.text.strip()
    return None  # 如果没有找到标题，返回None
    return data_title
def data_link(html_content: str):
    soup = BeautifulSoup(html_content, 'html.parser')
    a_tag = soup.find('a', class_=['cover', 'mask', 'ld'])# 查找指定class的a标签
    if a_tag and a_tag.has_attr('href'):# 获取href属性值
        link = a_tag['href']
        return f'https://www.xiaohongshu.com{link}'
    return None

def main(args):
    pass
  

笔记采集完成后，可以通过循环字典将数据写入Excel表格中

详细数据获取

在打开网页指令后将一个获取cookies指令，以便后续流程调用

由于获取到的cookies值为字典，所以要通过遍历字典处理一下

打开流程管理，在Python模块管理中新建一个Py流程

将这段代码复制上去

# 实在代码编辑器使用说明：
# 1. 默认引入了获取元素、使用全局变量、调用流程块等常用工具方法
# 2. 可在流程块、子流程中使用“调用Python模块”组件调用此Python模块
# 3. 更多使用帮助可按快捷键“ Alt + Shift + F1 ”

from common.util.shared_variables import GetSharedVariable
from common.util.elements_util import elementsFormatNew
from projects.rpaRoot import SZEnv
from ..global_data import SHIZAI_ELEMENT_DICT, globalVar
from ..global_data import run_module, print

import requests
import re
from bs4 import BeautifulSoup
class xhs:
    def image(html):  # 获取图片下载链接（包括视频封面）
        pattern = r'<meta name="og:image" content="(http[^"]+)"'
        image_urls = re.findall(pattern, html)
        return image_urls
    def video(html):  # 获取视频下载链接
        soup = BeautifulSoup(html, "html.parser")
        video_meta = soup.find("meta", {"name": "og:video"})
        if video_meta:
            return video_meta.get("content")
        else:
            return None
    def title(html):
        soup = BeautifulSoup(html, "html.parser")
        title_meta = soup.find("meta", {"name": "og:title"})
        title = re.sub(r'\s-\s小红书$', '', title_meta.get("content"))
        return title
    def content(html):
        soup = BeautifulSoup(html, "html.parser")
        content_meta = soup.find("meta", {"name": "description"})
        return content_meta.get("content")
    def keywords(html):
        soup = BeautifulSoup(html, "html.parser")
        keywords_meta = soup.find("meta", {"name": "keywords"})
        return keywords_meta.get("content")
    def note_like(html):
        soup = BeautifulSoup(html, "html.parser")
        note_like_meta = soup.find("meta", {"name": "og:xhs:note_like"})
        return note_like_meta.get("content")
    def note_collect(html):
        soup = BeautifulSoup(html, "html.parser")
        note_collect_meta = soup.find("meta", {"name": "og:xhs:note_collect"})
        return note_collect_meta.get("content")
    def note_comment(html):
        soup = BeautifulSoup(html, "html.parser")
        note_comment_meta = soup.find("meta", {"name": "og:xhs:note_comment"})
        return note_comment_meta.get("content")
def xhs_detail(url,Cookie):
    if Cookie != None:
        headers = {
            'Cookie': Cookie,
            'User-Agent': 'Mozilla/5.0...'
        }
        respone = requests.get(url,headers=headers)
    else:
        respone = requests.get(url)
    html = respone.text
    detail = {}
    detail['标题'] = xhs.title(html)
    detail['内容'] = xhs.content(html)
    detail['话题'] = xhs.keywords(html)
    detail['点赞'] = xhs.note_like(html)
    detail['收藏'] = xhs.note_collect(html)
    detail['评论'] = xhs.note_comment(html)
    detail['图片'] = xhs.image(html)
    detail['视频'] = xhs.video(html)
    return detail

def main():
    pass
  

返回值为字典类型，各键值对类型如下;

标题-字符串；内容-字符串；话题-字符串；点赞-字符串；收藏-字符串；评论-字符串；图片-列表；视频-字符串

在遍历字典时调用该模块，同时写入Excel表格，即可完成对数据的采集

运行结果如下