postgresql的timestamp类型与python的datetime类型之间的坑

postgresql的timestamp类型与python的datetime类型之间的坑

最近的项目突然发现一个bug,就是当服务器系统时区是utc时区,而服务器pgsql的时区是+8时区时候,通过python的datetime.now()插入的timestampz值有问题。所以特意做了一个测试。

1 测试前提

1.1 python的datetime类型

首先,要了解python的datetime类型是包括时间与时区的。而通过datetime.now()与datetime.utcnow()获得的时间其tzinfo属性为null,即不带时区属性。要想获得带时区属性的datetime类型,就必须使用datetime.now(tz=timezone.utc)或者datetime.now(tz=timezone(timedelta(hours=8)))。

1.2 pgsql的时间戳类型

然后,pgsql的时间戳类型包括timestamp(无时区), timestampz(有时区)两种。

1.3 测试表与测试代码

为了进行测试,我新建了一张time_test表,然后分别插入pythono的datetime.now(), datetime.utcnow(), datetime.now(timezone.utc)三个值。

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import psycopg2 
import logging
from datetime import datetime
from datetime import timezone


def insert():
    now = datetime.now()
    utcnow = datetime.utcnow()
    nowz = datetime.now(tz = timezone.utc)
    logging.info('now: %s', now)
    logging.info('utcnow: %s', utcnow)
    logging.info('now with tz: %s', nowz)

    conn = psycopg2.connect(dbname='postgres', user='postgres', 
                                host='127.0.0.1', password='postgres',
                                port=5432, connect_timeout=5)
    cur = conn.cursor()
    sql_string = "INSERT INTO time_test (tpz_now, tpz_utcnow, tpz_nowz, tp_now, tp_utcnow, tp_nowz) VALUES \
                (%(tpz_now)s, %(tpz_utcnow)s, %(tpz_nowz)s, %(tp_now)s, %(tp_utcnow)s, %(tp_nowz)s)"
    cur.execute(sql_string, {'tpz_now': now,
                            'tpz_utcnow': utcnow,
                            'tpz_nowz': nowz,
                            'tp_now': now,
                            'tp_utcnow': utcnow,
                            'tp_nowz': nowz})
    conn.commit()
    cur.close()
    conn.close()
    pass

if __name__ == '__main__':
    logging.basicConfig(format="%(asctime)s %(levelname)5s %(name)s.%(funcName)s - %(message)s",
                        level=logging.DEBUG)
    insert()

2 测试

2.1 系统时区+8,pgsql时区+8

2019-11-26 20:13:22,771  INFO root.insert - now: 2019-11-26 20:13:22.771931
2019-11-26 20:13:22,771  INFO root.insert - utcnow: 2019-11-26 12:13:22.771931
2019-11-26 20:13:22,771  INFO root.insert - now with tz: 2019-11-26 12:13:22.771931+00:00

明显这时候python使用datetime.utcnow()值插入数据库,得到的并不是我们想要的结果。

2.2 系统时区utc, pgsql时区+8

2019-11-26 12:59:26,111  INFO root.insert - now: 2019-11-26 12:59:26.111522
2019-11-26 12:59:26,112  INFO root.insert - utcnow: 2019-11-26 12:59:26.111522
2019-11-26 12:59:26,112  INFO root.insert - now with tz: 2019-11-26 12:59:26.111522+00:00

这时候只有使用datetime.now(timezone.utc)插入数据库得到的才是我们想要的结果。

2.3 系统时区utc,pgsql时区utc

修改postgresql.conf文件中的timezone为'UTC',然后通过命令  pg_ctl  restart  -D 数据库目录  来重启postgresql。

使用如下sql语句检查当前的pgsql时间与时区:select now();  show time zone;

2019-11-26 13:36:34,719  INFO root.insert - now: 2019-11-26 13:36:34.719490
2019-11-26 13:36:34,719  INFO root.insert - utcnow: 2019-11-26 13:36:34.719490
2019-11-26 13:36:34,719  INFO root.insert - now with tz: 2019-11-26 13:36:34.719490+00:00

这是最完美的情况,任何一种方式都是我们想要的结果。

2.4 系统时区+8,pgsql时区utc

2019-11-26 21:44:57,208  INFO root.insert - now: 2019-11-26 21:44:57.207524
2019-11-26 21:44:57,208  INFO root.insert - utcnow: 2019-11-26 13:44:57.208525
2019-11-26 21:44:57,208  INFO root.insert - now with tz: 2019-11-26 13:44:57.208525+00:00

这种情况是最混乱的,对于timestampz的时间来说,很明确utcnow与nowz插入的值都是正确的。而对于timestamp类型的时间戳而言,可能开发者自己都不清楚想要的是+8时间还是utc时间。。。

3 结论

python要用datetime.now(tz=timezone.utc)来获取带时区的当前时间,postgresql的时间戳用timestampz。

 

Leave a Reply

Your email address will not be published. Required fields are marked *

TOC