通过Python向SQLite插入数十亿数据

Question

通过Python向SQLite插入数十亿数据

Inserting billions of data to Sqlite via Python

来源: link 标签:python sqlite 更新时间: 2020-10-14

最佳答案

使用生成器表达式将您的数据动态地分成多个块,在事务内进行插入。

这里您的代码可能是什么样。

另外,sqlite可以导入CSV文件。

Sqlite每秒可以完成数以万计的插入,只需通过用BEGIN和COMMIT包围插入即可确保在单个事务中完成所有插入。（executemany（）自动执行此操作。）

与往常一样,不要在知道速度会成问题之前就进行优化。首先测试最简单的解决方案,并且仅在速度不可接受时才进行优化。

Suraj M

相同标签的其他问题

python sqlite

上一个问题:Cython：numpy数组的无符号int索引给出不同的结果

下一个问题:窗口长度> 1的rollsumr：填充缺失值

ggnoredo · Accepted Answer

我想将数十亿的值（汇率）插入sqlite db文件。我想使用线程,因为它需要很多时间,但是线程池循环会多次执行相同的第n个元素。我在方法的开头有一条打印语句,它打印多次而不是一次。

 pool = ThreadPoolExecutor(max_workers=2500)

def gen_nums(i, cur):
    global x
    print('row number', x, ' has started')
    gen_numbers = list(mydata)
    sql_data = []
    for f in gen_numbers:
        sql_data.append((f, i, mydata[i]))
    cur.executemany('INSERT INTO numbers (rate, min, max) VALUES (?, ?, ?)', sql_data)
    print('row number', x, ' has finished')
    x += 1


with conn:
    cur = conn.cursor()
    for i in mydata:
        pool.submit(gen_nums, i, cur)

pool.shutdown(wait=True)

输出为：

 row number 1  has started
row number 1  has started
row number 1  has started
row number 1  has started
row number 1  has started
row number 1  has started
row number 1  has started
...