在线提取URL的根域名工具

 在处理采集域名做分析时,要用到顶级域名提取,即从 类似 www.crazyken.cn 的网址中 提取出 crazyken.cn 这个主域名,自己写工具挺麻烦的,在网上找到个非常好用的智能提取工具: 一键提取Url的根域名: https://www.a-site.cn/tool/domain/ 还支持自动去重,能批量从TXT文本中提取URL主域名,试了下,很多奇葩的新域名后缀也能顺利识

阅读全部

phpQuery的用法

 一、phpQuery的hello word!

下面简单举例:

... 阅读全部

Ngxin 绑定ssl后,引起的访问混乱,没绑定的域名访问https打开的是有ssl的网站内容

Nginx 对于找不到 hostname 的域名,默认采用第一个 host 

所以,需要自己加一个空的监听 443端口的 default server 

其中的 ssl.key 和 ssl.crt 必须设置,可以随便设置,不设置这个,正常的https网站也会无法打开

...

阅读全部

论免费增值模式的兴起

 这是 ONES Piece 翻译计划的第 124 篇译文。本文原载于 25iq.com,作者 Tren Griffin,由 ONES Piece 翻译计划 农颖 翻译。ONES Piece 是一个由 ONES Ventures 发起的非营利翻译计划,聚焦科技创新、生活方式和未来商业。如果您希望得到更「湿」的信息,我们也有播客节目「迟早更新」供您收听。

... 阅读全部

MYSQL中文全文检索(mysqlcft插件)

**** 首先需要表类型为:MyISAM****  
 
下载安装插件。
 
mysql>
 
SHOW VARIABLES LIKE 'plugin_dir';
 
确定插件路径:/usr/local/mysql/lib/plugin
 
... 阅读全部

php使用正则删除连接重复的词、字、符号、单词,多次重复只保留1个

php使用正则删除连接重复的词、字、符号、单词,多次重复的内容只保留1个,方法如下:<?php$str = '太好了呀太好了呀太好了呀太好了呀太好了呀太好了呀正工则正工则正则正则正则正则正则abcabcabababaccccccccccc试试试试试试试测试则为连接连接接接接接接接!!!!!!!!!!!!!!!!!!!!!!!!!!';$p = '/(.*)\1{1,10}/i';$str =

阅读全部

PHP cURL实现模拟登录与采集使用方法详解教程

 本文将通过案例,整合浏览器工具与PHP程序,教你如何让数据 唾手可得 

... 阅读全部

PHP基于cURL实现自动模拟登录

 本文介绍如何利用php基于curl命令,实现自动模拟登录。

...
阅读全部

MySQL 百万级-千万级分页优化

 少量翻页使用:SELECT * FROM table ORDER BY id LIMIT 1000, 10; 优化型翻页:SELECT * FROM table WHERE id >= (SELECT id FROM table LIMIT 1000000, 1) LIMIT 10; 超快速优化页:SELECT * FROM table WHERE id BE

阅读全部

Linux支持的信号速查列表

 Linux支持的信号列表如下。很多信号是与机器的体系结构相关的

信号值 默认处理动作 发出信号的原因

... 阅读全部

Ubuntu 系统上自动安装安全更新(Security Updates Automatically)

 之前已经说过,一些最优秀的系统管理员看上去(注意这里使用的词是 seem(看上去))总是很“懒”的,这句话我再同意不过了。

... 阅读全部

mysql表损坏修复:table xxx is marked as crashed and last (automatic?) repair failed

 修复方法:

先停止mysql服务:sudo service mysql stop

在命令行下进入损坏的库目录:cd /var/lib/mysql/$DATABASE_NAME

如果只是索引损坏则运行:myisamchk -c -r tablename.MYI 修复

上述命令修复不成功则使用:myisamchk -r -v -f --sort_buffer_size=2G <table_name> ,sort_buffer_size 大于表索引大小较好

...

阅读全部

MySQL分区和分布性能测试[转]

MySQL分区性能测试
By 成江东, on 八月 31st, 2010
... 阅读全部

ubuntu下apt-get 命令参数

ubuntu下apt-get 常用的命令参数  apt-cache search package 搜索包  apt-cache show package 获取包的相关信息,如说明、大小、版本等  sudo apt-get install package 安装包  sudo apt-get install package - - reinstall 重新安装包  sudo apt-get

阅读全部

Ubuntu 彻底删除 MYSQL 然后重装 MYSQL

 删除 mysql sudo apt-get autoremove --purge mysql-server-5.0sudo apt-get remove mysql-serversudo apt-get autoremove mysql-serversudo apt-get remove mysql-common //这个很重要上面的其实有一些是多余的。 最省事的可

阅读全部

Ubuntu中MySQL没有innoDB引擎的解决方法

 在注释掉my.cnf中的loose-skip-innodb后,重启mysql,依然没有innoDB引擎,

此时,到/var/lib/mysql目录下,删除ibdata1、ib_logfile1、 ib_logfile0,然后重启MySql即可

阅读全部

在ubuntu中增加新硬盘的操作步骤

在ubuntu中增加一块新硬盘,并挂载取系统中的操作步骤如下: 1 接上新硬盘,开机 2 启动Ubuntu,root用户登录。在终端输入:fdisk -l ,可以看到----------------------------------------------------------------------------Disk /dev/sda: 10.7 GB, 1073741

阅读全部

iis7使用urlwrite导致中文url乱码的解决方法

 iis7使用urlwrite后,url的中文会出现乱码,据说原因是由于win平台默认编码为GBK,如果你的网站使用的utf8编码就有可能出问题。

解决方法:

将url中的中文使用base64编码再传递。

阅读全部

布隆过滤器的应用

Bloom Filter的中文翻译叫做布隆过滤器,是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法,缺点是有一定的误识别率和删除困难。如文章标题所述,本文只是做简单介绍,属于科普文章。  应用场景 在正式介绍Bloom Filter算法之前,先

阅读全部

php处理32位以上大于2147483647的运算方法

php 数学运算能一般不大于2147483647的数,如果超过这个大小,使用普通的运算符(如:+,-,*,/,%)就不灵了,要使用处理高精度计算函数。

PHP 为任意精度数学计算提供了二进制计算器(Binary Calculator),它支持任意大小和精度的数字,以字符串形式描述
 
bcadd — 加法,用法:bcadd($a,$b),同低位运算时的:$a + $b;
... 阅读全部