CPP项目：Boost搜索引擎

1.项目背景

对于Boost库来说，它是没有搜索功能的，所以我们可以实现一个Boost搜索引擎来实现一个简单的搜索功能，可以更快速的实现Boost库的查找，在这里，我们实现的是站内搜索，而不是全网搜索。

2.对于搜索引擎的相关宏观理解

3.搜索引擎技术栈及项目环境

技术栈：c/c++,c++11,STL,Boost准标准库，Jsoncpp，cppjieba，cpp-httplib,html5,css,js,

Ajax,jQuery，不使用爬虫。

项目环境：Centos 7云服务器，vim/gcc(g++)/Makefile , vs code

4.正排索引、倒排索引

正排索引：通过文档ID寻找文档内容：

比如：文档1：西游记有一只猴子

           文档2：西游记有一只六耳猕猴

文档1	西游记有一只猴子
文档2	西游记有一只六耳猕猴

目标文档进行分词（目的：方便建立倒排索引和查找）：

文档1：西游记/有/一只/猴子/

文档2：西游记/有/一只/六耳/猕猴/

注：停止词：了，的，吗，a，the，一般我们在分词的时候可以不考虑

倒排索引：根据文档内容，分词，整理不重复的各个关键字，对应联系到文档ID的方案。

关键字：	文档ID, weight(权重)
西游记	文档1.文档2
有	文档1，文档2
一只	文档1.文档2
猴子	文档1
六耳	文档2
猕猴	文档2

模拟一次查找的过程：

用户输入：西游记->倒排索引中查找->提取出文档id->根据正排索引->找到文档内容,通过文档标题，内容，URL，对文档内容进行摘要->构建响应结果。

5.编写数据去标签与数据清洗的模块 Parser

5.1 什么是标签：

我们既然要去标签，那么就要知道什么是标签，比如：

//原始数据 -> 去标签之后的数据

 

上述代码中，，这就是一个标签，<>这些标签对于我们的搜索来说是没有意义的，所以我们需要去掉这些标签。标签分为两类，一类是只有一个的<>,一类是有两个的<>,,这些都是我们需要去掉的。

5.2 搜索内容

由于我们使用的是本地搜索，即将Boost库下载下来，通过本地搜索，然后再通过建立网站，实现站内搜索。所以第一步，下载Boost库：

Boost库官网：Boost C++ Libraries

Boost库下载：Index of main/release/1.84.0/source

目前只需要boost库/doc/html目录下的html文件，用它来进行建立索引，不需要使用其他的

下载完成之后，我们把他上传到云服务器上。之后建立一个保存*.html文件的文件夹，我们之后需要使用它，然后再创建一个保存去标签之后的*.html文件的文档，方便我们搜索。

5.3 具体逻辑实现

const std::string src_path = "/home/SSS/data/input";//搜索路径
const std::string output = "/home/SSS/data/raw_html/raw.txt";//保存文档

typedef struct DocInfo
{
  std::string title;   // 文档标题
  std::string content; // 文档标题
  std::string url;     // 文档url
} DocInfo_t;

// &: 输入
//*: 输出
//&：输入输出
bool EnumFile(const std::string &src_path, std::vector *files_list);
bool ParseHtml(const std::vector &files_list, std::vector *results);
bool SaveHtml(const std::vector &results,const std::string& output);

int main()
{
  std::vector files_list; //保存文件路径
  //递归式的把每个html文件名带路径，保存到files_list中，方便后期进行一个一个的文件进行读取
  if (!EnumFile(src_path, &files_list))
  {
    std::cerr << "enum file name error1" << std::endl;
    return 1;
  }
  // 按照files_list读取每个文件的内容，并进行解析
  std::vector results;
  if (!ParseHtml(files_list, &results))
  {
    //std::cout<<"1"<

第一个函数通过对文件路径的处理，将我们所需要的html文件保存到vector中，方便我们后续查找。第二个函数进行对html文件的处理，将html文件的标题，内容，url进行提取，保存到数组中。第三个函数将处理好的内容放入到文件中，方便后续进行建立索引。

三个函数的具体实现过程：

第一步：

bool EnumFile(const std::string &src_path, std::vector *files_list)
{
  namespace fs = boost::filesystem;
  fs::path root_path(src_path);
  if (!fs::exists(root_path)) // 判断文件路径是否存在，在这里我们使用Boost库中的函数，判断文件路径是否存在
  {
    std::cerr << "root_path not exits" << std::endl;
    return false;
  }
  fs::recursive_directory_iterator end; // 递归的判断文件
  for (fs::recursive_directory_iterator iter(root_path); iter != end; iter++)
  {
    if (!fs::is_regular_file(*iter)) // 文件是否为普通文件，Boost库中判断文件是否为普通文件。
    {
      continue;
    }
    if (iter->path().extension() != ".html") // 文件是否为html文件，Boost库函数
    {
      continue;
    }
    files_list->push_back(iter->path().string());//将所有带路径的html保存在files_list,方便后续进行文本分析
    
  }
  return true;
}

第二步：

namespace ns_util
{
 class FileUtil
    {   
    public:
        static bool ReadFile(const std::string &file_path, std::string *out)
        {
            std::ifstream in(file_path,std::ios::in);
           if(!in.is_open())//c++中文件处理函数
           {
                std::cerr <<"open in error"<");//对文档标题进行处理，由于网页的标题保存在结尾，所以中间的内容就是我们所要的标题
  //std::cout<");
  if (end == std::string::npos)
  {
    return false;
  }
  begin += std::string("
    


    

        

            
            搜索一下
        
        

            
            
        
    
    

5.7 添加日志

#pragma once
#include 
#include 
#include 
#include 
#include 

#define DEBUG 0
#define NORMAL 1
#define WARING 2
#define ERROR 3
#define FATAL 4
#define LOGFILE "./calculator.log"

const char* gLevelMap[]={"DEBUG","NORMAL","WARING","ERROR","FATAL"};

//完整的日志功能，至少: 日志等级 时间 支持用户自定义(日志内容, 文件行，文件名)，可以将其写到文件中
void logMessage(int level,const char* format,...)
{
    //if(level==0) printf("正确");
    char stdBuff[10024];
    time_t timestamp = time(nullptr);//时间
    snprintf(stdBuff,sizeof(stdBuff),"[%s] [%ld] ", gLevelMap[level], timestamp);

    char logBuff[1024]; //自定义部分
    // va_list args;
    // va_start(args, format);
    // // vprintf(format, args);
    // vsnprintf(logBuffer, sizeof logBuffer, format, args);
    // va_end(args);

    snprintf(logBuff,sizeof(logBuff),"[%s] [%ld] ", gLevelMap[level], timestamp);
    

    FILE *fp = fopen(LOGFILE, "a");
    // printf("%s%s\n", stdBuffer, logBuffer);
    fprintf(fp, "%s %s\n", stdBuff, logBuff);
    fclose(fp);
}

日志分为5个等级，每个等级对应不同的内容，不同的等级需要不同的数字来对应。可以将其写到文件中将其保存。当然，对于不同的级别，日志可能会有不同的表现，具体情况视情况而定。

5.8 结尾

最后需要将写好的程序部署到linux服务器上，完成最后网站的建立。

nohup ./http_server > log/log.txt 2>&1 &[1] 26890

项目扩展方向

1. 建立整站搜索
2. 设计一个在线更新的方案，信号，爬虫，完成整个服务器的设计
3. 不使用组件，而是自己设计一下对应的各种方案（有时间，有精力）
4. 在我们的搜索引擎中，添加竞价排名(强烈推荐)
5. 热次统计，智能显示搜索关键词（字典树，优先级队列）(比较推荐)
6. 设置登陆注册，引入对mysql的使用(比较推荐的)

有兴趣的可以尝试做下。

项目完整代码网址：

C-C++项目: C/C++项目 - Gitee.com