PHP使用PDO从mysql读取大量数据处理详解

yipeiwu_com5年前Mysql基础

前言

本文主要介绍了关于PHP利用PDO从mysql读取大量数据处理的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧。

环境

  • mysql: 5.6.34
  • php: 5.6
  • nginx: php-fpm

适用场景

需要处理一定数据集业务

  • 从mysql读取一定数据的业务导出
  • 一次需要处理一定的mysql业务操作更新删除等
  • 更多需要处理一定数据集的操作

pdo 关键设置

$dbh = new \PDO($dsn, $user, $pass);
# 关键设置,如果不设置,php依旧会从pdo一次取出数据到php
$dbh->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
//perpare里的游标属性不是必须的
$sth = $dbh->prepare("SELECT * FROM `order`", array(\PDO::ATTR_CURSOR => \PDO::CURSOR_SCROLL));
$sth->execute();

生成器

生成器,迭代数据操作

本生成器可省略

尝试代码

class Test {
 public function test()
 {
  set_time_limit(0);
  $dbms='mysql';  //数据库类型
  $host=C('DB_HOST'); //数据库主机名
  $dbName=C('DB_NAME'); //使用的数据库
  $user=C('DB_USER');  //数据库连接用户名
  $pass=C('DB_PWD');   //对应的密码
  $dsn="$dbms:host=$host;dbname=$dbName";
  $dbh = new \PDO($dsn, $user, $pass);
  $dbh->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
  $sth = $dbh->prepare("SELECT * FROM `order`");
  $sth->execute();
  $i = 0;

  $newLine = PHP_SAPI == 'cli' ? "\n" : '<br />';

  foreach ($this->cursor($sth) as $row) {
//   var_dump($row);
   echo $row['id'] . $newLine;
   $i++;
  }

  echo "消耗内存:" . (memory_get_usage() / 1024 / 1024) . "M" . $newLine;
  echo "处理数据行数:" . $i . $newLine;
  echo "success";
 }

 public function cursor($sth)
 {
  while($row = $sth->fetch(\PDO::FETCH_ASSOC)) {
   yield $row;
  }
 }
}

$test = new Test();
$test->test();

输出

1
... //省略部分id
804288
消耗内存:"0.34918212890625M
处理数据行数:254062
success

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对【宜配屋www.yipeiwu.com】的支持。

相关文章

非集成环境的php运行环境(Apache配置、Mysql)搭建安装图文教程

非集成环境的php运行环境(Apache配置、Mysql)搭建安装图文教程

本文为大家分享了php运行环境搭建安装图文教程,供大家参考,具体内容如下 安装apache: 1,不要安装到有中文的目录中: 2,尽量将apache,php,mysql安装到一个总的目录...

Windows Server 2008 R2和2012中PHP连接MySQL过慢的解决方法

对比下面两个脚本的速度: Windows 7 用 localhost 连接本地 MySQL,速度会很慢。 Windows 7 用 127.0.0.1 连接本地 MySQL,速度...

flash+php+mysql打造简单留言本教程第1/3页

flash+php+mysql打造简单留言本教程第1/3页

(主要参考了火山的帖子:★FLASH与ASP通信入门教程——做真正属于自己的留言本!)。网上没有比较好的php留言本相关教程,我下载的N多源文件都看得云里雾里,而且好多都将代码写在MC上...

PHP和Mysql中转UTF8编码问题汇总

一个网站如果需要国际化,就需要将编码从GB2312转成UTF-8,其中有很多的问题需要注意,如果没有转换彻底,将会有很多的编码问题出现! PHP页面转UTF-8编码问题 1.在代码开始出...

mysql 查询指定日期时间内sql语句实现原理与代码

在数据库教程设计时必须注意时间字段为int(11)这样,保存在数据库的是一个数字型日期时间戳,我们可以用mktime函数求出当前日期的时间戳进行加减就OK了,下面看实例 //一个月 复制...