大数据文件php生成 php大数据导出

如何用php导出导入大数据库

在使用PhpMyAdmin的时候经常用到数据的导入和导出(Export/Import),但是在导入大数据的时候由于php上传文件的限制和脚本响应时间的限制,导致phpMyAdmin无法导入大数据。很多时候都是由于文件过大,从本地浏览上传导入,容易中断失败,有没有更好的方法呢?

公司主营业务:网站设计、网站建设、移动网站开发等业务。帮助企业客户真正实现互联网宣传,提高企业的竞争能力。创新互联建站是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化,感谢他们对我们的高要求,感谢他们从不同领域给我们带来的挑战,让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。创新互联建站推出西夏免费做网站回馈大家。

方法:

在phpMyAdmin的目录下,找到根目录的config.inc.php文件,

打开config.inc.php文件,查找$cfg['UploadDir'],这个参数就是设定导入文件存放的目录,这里把值设定为:ImportSQLFile。

在phpMyAdmin目录下,建立以ImportSQLFile命名的文件夹,

把我们需要导入的数据文件,放到ImportSQLFile文件夹下面,非常简单,

登入phpMyAdmin,选择需要导入的数据,点击导航条上面的“导入”按钮,

选中“从网站服务器上传文件夹ImportSQLFile/中选择:”选项,并需要导入的数据文件,

最后点击“执行”,即可导入成功。

注意事项

如果在config.inc.php文件,没有找到$cfg['UploadDir'],可以自己在文件中添加上去即可。

php采集大数据的方案

1、建议你读写数据和下载图片分开,各用不同的进程完成。

比如说,取数据用get-data.php,下载图片用get-image.php。

2、多进程的话,php可以简单的用pcntl_fork()。这样可以并发多个子进程。

但是我不建议你用fork,我建议你安装一个gearman worker。这样你要并发几个,就启几个worker,写代码简单,根本不用在代码里考虑thread啊,process等等。

3、综上,解决方案这样:

(1)安装gearman worker。

(2)写一个get-data.php,在crontab里设置它每5分钟执行一次,只负责读数据,然后把读回来的数据一条一条的扔到 gearman worker的队列里;

然后再写一个处理数据的脚本作为worker,例如叫process-data.php,这个脚本常驻内存。它作为worker从geraman 队列里读出一条一条的数据,然后跟你的数据库老数据比较,进行你的业务逻辑。如果你要10个并发,那就启动10个process-data.php好了。处理完后,如果图片地址有变动需要下载图片,就把图片地址扔到 gearman worker的另一个队列里。

(3)再写一个download-data.php,作为下载图片的worker,同样,你启动10个20个并发随便你。这个进程也常驻内存运行,从gearman worker的图片数据队列里取数据出来,下载图片

4、常驻进程的话,就是在代码里写个while(true)死循环,让它一直运行好了。如果怕内存泄露啥的,你可以每循环10万次退出一下。然后在crontab里设置,每分钟检查一下进程有没有启动,比如说这样启动3个process-data worker进程:

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了没有

php怎么导出大量数据的Excel

微软的Excel设置单元格行数默认是6万行rows,相对的讲其实当我们超过1万行的时候已经是大数据的导出。

好比:有客户10000人,平均每人每天产生10条活动记录,要导出上周所有的客户活动记录: 10000*10*7=700000

估计看70万行的Excel这个人会疯掉的,我们的建议是分批次导出,按时间导出到不同的excel

下面是一个PHPExcel官方的Demo(已修改过)

复制代码

define('EOL', 'br /');

$objPHPExcel = new \app\extensions\PHPExcel\PHPExcel();

ini_set("memory_limit", "1024M"); // 设置php可使用内存

$cacheMethod = \PHPExcel_CachedObjectStorageFactory::cache_in_memory_gzip;

if (!\PHPExcel_Settings::setCacheStorageMethod($cacheMethod)) {

die($cacheMethod . " 缓存方法不可用" . EOL);

}

echo date('H:i:s'), " 当前使用的缓存方法是: ", $cacheMethod, " 方式", EOL;

echo date('H:i:s'), " 开始设置文档属性", EOL;

$objPHPExcel-getProperties()-setCreator("Maarten Balliauw")

-setLastModifiedBy("Maarten Balliauw")

-setTitle("Office 2007 XLSX Test Document")

-setSubject("Office 2007 XLSX Test Document")

具体的还有很多写不下,我是在后盾人看的教学视频无意中学到的,正好解答给你希望能帮到你

求关于php excel导入大数据到mysql的解决办法

下载 PHPExcel

require_once( './PHPExcel/IOFactory.php');

$filePath = 'D:/xxx.xlsx'; //excel 文件名 

$objReader = new PHPExcel_Reader_Excel2007();  //具体查看(Documentation/Examples/Reader/exampleReader01.php)

$objPHPExcel = $objReader-load($filePath);

$sheetData = $objPHPExcel-getActiveSheet()-toArray(null,true,true,true);

$insql = 'insert into 表名(x,x,x) valeus';

//遍历数组 $sheetData

//如果有标题 先删除 unset($sheetData[1]);

foreach($sheetData as $k = $data){

$insql .= '('.$data['A'].','.$data['B'].','.$data['C'].'),';

//一次插入100条数据  减少数据库压力

if(($k+1 / 100) == 0){

$insql = rtrim($insql,',').';'; //将最后的逗号替换成分好

//插入数据库 并且重置 字符串 $insql  

//或者保存到文件中 利用source 命令插入数据库

}

}


名称栏目:大数据文件php生成 php大数据导出
标题来源:http://bzwzjz.com/article/hhcpgp.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都品牌网站设计 成都企业网站建设 成都网站设计 网站设计 重庆网站设计 成都网站制作 企业网站建设公司 四川成都网站建设 网站建设公司 温江网站设计 温江网站设计 成都做网站建设公司 网站制作 重庆手机网站建设 营销型网站建设 商城网站建设 网站建设费用 高端品牌网站建设 成都网站制作 H5网站制作 成都网站建设 网站建设