今天来聊聊C语言 | C++批量数据数据库高效操作

数据库优化法则归纳为5个层次：

1、  减少数据访问（减少磁盘访问）

2、  返回更少数据（减少网络传输或磁盘访问）

3、  减少交互次数（减少网络传输）

4、  减少服务器CPU开销（减少CPU及内存开销）

5、  利用更多资源（增加资源）

数据批量处理一般有两种情况（针对减少磁盘访问）：

1、数据从一个数据库表A迁移到另一个数据库表B,这种情况可以每次取一定数量(例如:5条)进行批量插入。

语句如下：

在insert中写多个value   

INSERT INTO table(field1,field2,field3)VALUES(‘a’,’b’,’c’),(‘a’,’b’,’c’),(‘a’,’b’,’c’),(‘a’,’b’,’c’),(‘a’,’b’,’c’);

2、数据是实时数据，比如服务器接收到的数据，数据可能在短时间有大量数据上传，也可能长时间没有，数据上传太快对与服务器的交互性能有较大的要求，如果可以批量插入，减少访问数据库，一次存入较多的数据，来提高服务器性能；

可以用vector或者其他合适的数据结构来临时存储数据，当达到预定设置的阈值时进行一次数据处理，比如vector.size>=5；

实现如下：

#include <vector>
typedef struct BIGINSERT
{
  int strBooknumber;
  CString strLocation;
}_biginsert_info;
typedef std::vector<_biginsert_info> Vecbigdatainsert;
_batch_info bigdatainsert;
Vecbigdatainsert vectordata;
Bigdatainsert.strBooknumber = //上传的数据
Bigdatainsert.strLocation  = //上传的数据
//存入容器中
vectordata.push_back(Bigdatainsert);
int itSize = vectordata.size();
if(itSize >= 5)
{
  int j = 0;
  CString str1;
  str1.Format("%s","('%d','%s')");
  CString cstrdata[100];
  CString strTemp = "";
   for(Vecbigdatainsert::iterator it = vectordata.begin();it !=vectordata.end();
    it++)
   {  
     cstrdata[j].Format("('%d','%s')",it->strBooknumber,it->strLocation);
     CString csData = cstrdata[j];
     if(j == itSize-1)
   {
       strinsert+= csData;
       break;
      }
     else
      {
        strinsert+=  csData;
        strinsert+=",";
         j++;
      }
}

//释放

vectordata.swap(vector<_biginsert_info>());

INSERT INTO table (field1,field2) VALUES %s”,strinsert);

存在的问题是当数据上传比较缓慢的时候，没有达到阈值，数据不会处理，目前想到的解决办法是加一个线程进行定时处理，在规定的时间内，小于阈值的时候也进行处理，规定时间t是多少，根据时间数据要求的及时性设置；大家有什么好的想法进行交流，不胜感激！！

正文完
2023-01-06