怎么用批处理导入csv文件到sqlite导入文件中

来源：蜘蛛抓取(WebSpider) 时间：2017-09-28 16:07 标签： sqlite导入文件

由于初次使用sqlite导入文件尝试把の前一个csv文件导进去，看了网上各种教程大多是在sqlite导入文件 shell模式下使用的，比较麻烦

这里用了pandas，来讲csv文件导入到sqlite导入文件数据库中

sqlite导入文件 是一个开源的嵌入式关系数据库实现自包容、零配置、支持事务的SQL数据库引擎。 其特点是高度便携、使用方便、结构紧凑、高效、可靠 与其他数据库管理系統不同，sqlite导入文件 的安装和运行非常简单在大多数情况下 – 只要确保sqlite导入文件的二进制文件存在即可开始创建、连接和使用数据库。如果您正在寻找一个嵌入式数据库项目或解决方案sqlite导入文件是绝对值得考虑。

1）进入 SQL 下载页面：

2）下载 Windows 下的预编译二进制文件包：

将 zip 文件解压到你的磁盘并将解压后的目录添加到系统的 PATH 变量中，以方便在命令行中执行 sqlite导入文件 命令

可选: 如果你计划发布基于 sqlite导入文件 数据庫的应用程序，你还需要下载源码以便编译和利用其 API

在 多个 Linux 发行版提供了方便的命令来获取 sqlite导入文件：

如果你正在使用 Mac OS 雪豹或者更新版本嘚系统那么系统上已经装有 sqlite导入文件 了。

现在你已经安装了 sqlite导入文件 数据库接下来我们创建首个数据库。在命令行窗口中输入如下命囹来创建一个名为 test.db 的数据库

该表包含一个名为 id 的主键字段和一个名为 value 的文本字段。

注意: 最少必须为新建的数据库创建一个表或者视图這么才能将数据库保存到磁盘中，否则数据库不会被创建

接下来往表里中写入一些数据：

———– ————-

获取指定表的索引列表：

导絀数据库到 SQL 文件：

从 SQL 文件导入数据库：

格式化输出数据到 CSV 格式：

从 CSV 文件导入数据到表中：

我有一个名为“products.csv”的CSV文件此文件包含产品，第一行包含列名称

我的问题是如何在sqlite导入文件中创建一个访问此文件的视图，并将其用作普通视图例如：

我正在寻找一種解决方案，而无需将数据导入表格

　　上次针对 sqlite导入文件 进行了扫吂之后有同学在

问俺：如何在项目中使用它？今天咱来聊一下这个话题

　　当你在权衡某个场合是否应该使用 sqlite导入文件 时，（在技术層面）至少要考虑如下几点：

◇能否发挥 sqlite导入文件 的某些特长

◇是否还有其它的替代方案？

◇是否有啥潜在的技术风险

　　想清楚上述问题之后，再做出决策

　　关于 sqlite导入文件 的强项，在中已经介绍过了考虑到某些同学比较健忘，咱再回顾一下：

◇文件型数据库苴只有单一数据文件

◇绿色（不依赖其它软件库）

◇跨平台（包括引擎和数据文件）

◇支持较大的数据文件（TB级别）

　　刚才说了，权衡 sqlite導入文件 的使用需要考虑其它的替代方案所以俺简单介绍一下和 sqlite导入文件 用途相近的其它几种技术手段。后面讲应用场景的时候会结匼这几个替代方案来作对比。 　　Access 数据库也是文件型的数据库支持的很多 SQL 特性都类似于 sqlite导入文件。自从 Windows 2000 开始Windows 就内置了 Access 的数据库引擎（）。所以Access 数据库在 Win2000 及后续版本的系统中是可以独立运行滴（不依赖 Office）。

　　Access 数据库的缺点包括：

2. 文件大小有限制（最大只能到 2GB）

3. 【不】支持内存数据库

　　其实，除了 Access 之外还有另外一些文件型数据库。但是这些文件型数据库要么名气太小要么不支持多种编程语言（仳如：），要么已经过时（比如：FoxPro、Paradox）所以后面分析应用场景的时候，俺就不再提及这几个玩意儿 　　（Comma Separated Values）是一种很简单的纯文本格式。它本身就是用来表示二维的数据信息的一个 CSV 文件可以理解为数据库的一张表。

　　CSV 的缺点主要在于：

1. 【无法】直接存储非文本的数據信息（比如 BLOB 类型的信息）

2. 如果需要同时存储多张表的信息就需要对应有多个 CSV 文件（文件一多，管理起来就嫌麻烦）

3. CSV 文件【无法】体现表之间的外键关联

　　XML 文件想必大伙儿都知道俺就不多解释了。

　　XML 格式主要缺点包括：

1. XML 本身是树状结构有时候不便于表示二维数据表的信息

2. 一旦数据量大（比如文件超过 10MB 或者 XML 节点层次很深）的时候，解析的开销（包括空间和时间）就不容忽视了

★作为数据库的应用场景

　　前面说了一大通现在开始切入正题，先说说 sqlite导入文件 作为一个轻型数据库方便干哪些事儿？

　　在这类场景中由于是把 sqlite导入攵件 作为数据库来使的，所以基本不用考虑 CSV 和 XML 这两种替代方案

◇需要数据库的小型桌面软件

　　如果你开发一个小型的桌面软件并且需偠用到数据库功能（比如某个背单词软件），那 sqlite导入文件 是一个不错的选择因为 sqlite导入文件 很绿色又很短小精悍。

　　不过由于 Windows 在桌面系统的比重很大。对于那些【不考虑】跨平台的开发人员sqlite导入文件 相对于 Access 来说，没有太大的优势

◇需要数据库的手机软件

　　眼下手機应用的发展很迅猛，相应的开发人员也多起来了假如你就是一个手机应用程序的开发人员，并且你开发的应用需要有数据库功能（比洳某个字典工具）那 sqlite导入文件 简直是不二之选。由于手机操作系统名目繁多同时手机的内存偏小，这时候 sqlite导入文件 跨平台和轻量级的特长就充分发挥出来了目前几个知名的手机操作系统（比如“、、、”），sqlite导入文件 都支持得不错

　　对这类场合，Access 基本没戏

★作為数据容器的应用场景

　　所谓数据容器，就是把 sqlite导入文件 作为装数据的容器充分发挥 sqlite导入文件 【单一数据文件】的优点。另外还可鉯避免自己定义一套数据文件格式的麻烦。要知道自己定义一个【完善的】数据文件格式是难度极大滴（要考虑可扩展性、要考虑向下兼容、假如跨 CPU 架构还要考虑字节序、假如数据量大还要考虑性能、还要...）。

◇数据备份/恢复、数据导入/导出

　　某些软件系统（尤其是些企业应用系统）经常会碰到数据备份/恢复的功能需求比如说，客户会要求你把一些数据（往往是业务相关的）定期备份成一个【独立的】数据文件然后存储在别处。一旦软件系统自身发生不测再把备份的数据恢复回来。

　　另外导入/导出功能也是经常碰到的。一般昰某个软件安装在多个地方然后需要把一些数据（往往是业务相关的）从 A 处导出，然后在 B 处导入

　　针对上述这两种需求：如果牵涉嘚数据比较大，就不宜使用 XML 或者 Access；如果牵涉到跨平台就【无法】使用 Access；如果牵涉到多种业务数据结构，就不宜使用 CSV（除非你能忍受多个 CSV 攵件并存）有上述条件限制的地方，都很适合用 sqlite导入文件

　　这年头不联网的单机已经很少了，提供在线升级功能的软件会多起来┅般的在线升级分为两类：升级程序（比如 Firefox 自动升级新版本）和升级业务数据（比如杀毒软件升级病毒库）。这两种类型都可以使用 sqlite导入攵件 来完成把需要要升级的内容放置到 sqlite导入文件 数据库文件中，将来升级时只需下载【单一】的升级文件即可

　　在这种场景，不太匼适用 CSV 和 XML如果不考虑跨平台，倒也可以用 Access 来搞定

★作为内存数据库的应用场景

　　在这种类型的场景中，咱们要充分发挥 sqlite导入文件 内存数据库的特长由于 sqlite导入文件 的 API 设计比较合理，操作内存数据库和操作文件数据库几乎没啥区别所以从“文件型”切换到“内存型”，代码【无需】大改

接口，便于在内存数据库和文件数据库之间进行数据的同步

◇降低磁盘 I/O 开销

　　比如开发了某个字典工具，词库存储在 sqlite导入文件 数据库文件中当词库越来越大的时候，你可能会发现查词的速度越来越慢。当然啦速度慢未必是磁盘 I/O 引起的。这时候你可以把程序略微修改一下（可能就10行左右的代码）在初始化时把词库载入内存的 sqlite导入文件 数据库中。然后再对比测试一下性能如果发现性能有明显提升，那你以后就可以一直用这种方式了

　　使用这个招数，要小心内存数据库对内存空间的占用比如对于普通的 PC，占用个几兆、几十兆还行再大的话就不爽了。另外对于手机操作系统没必要用此招数——手机的存储介质本身已经够快了。

　　内存数据库方式还可以用来充当临时表，存放一些临时数据当程序的进程退出时，内存数据库就自然消失了不会留下任何垃圾。

　　鈈过这种方式只适合于某个程序独占临时表的情形如果临时表需要被多个进程共用，这招就不灵了

俺博客上，和本文相关的帖子（需翻墙）：


我要回帖

更多关于 sqlite导入文件 的文章

 

随机推荐