通过这几天操作我的股票数据库,发现一个问题,计算效率超级地下,原来这个数据库是这个设计的。
+--------+---------+------+-----+---------+-------+
| Field  | Type    | Null | Key | Default | Extra |
+--------+---------+------+-----+---------+-------+
| symbol | char(8) | YES  |     | NULL    |       |
| date   | date    | YES  |     | NULL    |       |
| open   | double  | YES  |     | NULL    |       |
| high   | double  | YES  |     | NULL    |       |
| low    | double  | YES  |     | NULL    |       |
| close  | double  | YES  |     | NULL    |       |
| vol    | double  | YES  |     | NULL    |       |
| adj    | double  | YES  |     | NULL    |       |
| id     | int(10) | NO   | PRI | 0       |       |
+--------+---------+------+-----+---------+-------+
9 rows in set (0.00 sec)
所有的股票(3000家左右)都安装在一个表中quote,800万行,50年数据(美国nasdaq公司数据),现在发现一个简单的select就非常耗时,比如找出2009年内,每只股票的最高,最低价,耗时5分钟
不是select symbol,max(close),min(close) from quote group by symbol where data<'2010-12-31' and data'2010-01-01'语句,
这样的语句无法得出对应的时间,成交量等其他信息,必须使用
select *  from (select * from quote order by symbol,close desc) as t  group by symbol;
其他的算法都不行,比如
select * from quote  a
where not exists
(select 1 from quote where symbol=a.symbol and close>a.close);
时间长达1个小时还没有结果(各位请用大型数据去测试就知道了)。
我现在想这样解决:
按照年来划分,一年一个库,即使这样数据库也很大,最近几年的每年数据库有将近100万行,复杂一点的查询耗时也很长,使得逻辑上成立的算法无法运行。
按照股票划分,一个股票一个数据库,上市公司的历史寿命平均不超过15年,每个数据库的规模非常小,最大的也不超过2M。问题是这样划分后,针对个股的运算超级快,针对样本整体的运算就麻烦了,数据库的集合运算优势没有了。任何针对样本整体的运算都要某个中介语言来粘结数据库sql。
现在好,我建立一批库,一个包含所有数据的库,按照年代化了一批库,按照股票代码化了3000个库,不同性质的运算,酌情调用,有点搞笑吧。

解决方案 »

  1.   

    花30分钟耐心读完下面的内容。MySQL官方文档 http://dev.mysql.com/doc/refman/5.1/zh/index.html
    7. 优化
    7.1. 优化概述
    7.1.1. MySQL设计局限与折衷
    7.1.2. 为可移植性设计应用程序
    7.1.3. 我们已将MySQL用在何处?
    7.1.4. MySQL基准套件
    7.1.5. 使用自己的基准
    7.2. 优化SELECT语句和其它查询
    7.2.1. EXPLAIN语法(获取SELECT相关信息)
    7.2.2. 估计查询性能
    7.2.3. SELECT查询的速度
    7.2.4. MySQL怎样优化WHERE子句
    7.2.5. 范围优化
    7.2.6. 索引合并优化
    7.2.7. MySQL如何优化IS NULL
    7.2.8. MySQL如何优化DISTINCT
    7.2.9. MySQL如何优化LEFT JOIN和RIGHT JOIN
    7.2.10. MySQL如何优化嵌套Join
    7.2.11. MySQL如何简化外部联合
    7.2.12. MySQL如何优化ORDER BY
    7.2.13. MySQL如何优化GROUP BY
    7.2.14. MySQL如何优化LIMIT
    7.2.15. 如何避免表扫描
    7.2.16. INSERT语句的速度
    7.2.17. UPDATE语句的速度
    7.2.18. DELETE语句的速度
    7.2.19. 其它优化技巧
    7.3. 锁定事宜
    7.3.1. 锁定方法
    7.3.2. 表锁定事宜
    7.4. 优化数据库结构
    7.4.1. 设计选择
    7.4.2. 使你的数据尽可能小
    7.4.3. 列索引
    7.4.4. 多列索引
    7.4.5. MySQL如何使用索引
    7.4.6. MyISAM键高速缓冲
    7.4.7. MyISAM索引统计集合
    7.4.8. MySQL如何计算打开的表
    7.4.9. MySQL如何打开和关闭表
    7.4.10. 在同一个数据库中创建多个表的缺陷
    7.5. 优化MySQL服务器
    7.5.1. 系统因素和启动参数的调节
    7.5.2. 调节服务器参数
    7.5.3. 控制查询优化器的性能
    7.5.4. 编译和链接怎样影响MySQL的速度
    7.5.5. MySQL如何使用内存
    7.5.6. MySQL如何使用DNS
    7.6. 磁盘事宜
    7.6.1. 使用符号链接
      

  2.   

    创建一个(symbol,close)复合索引先试一下。
      

  3.   

    股民朋友们好,如果你想如何在股市中长存!想了解股票软件怎么为您的股票盈利,请加:航海家高级VIP(一)群,群号:6273915(过度)名额有限,请股民朋友们抓紧速度了!被套的朋友请马上加群,让我们的专业老师教您如何解套!加入群的验证码:航海家软件(必填)!