查詢引擎使用了presto,在sql中使用了模糊查詢。
engine = create_engine(presto_url,encoding='utf-8')
sql_exe ="""select id,title,tags from source.base.table where tags like '%呵呵%' """
df = pd.read_sql_query(sql_exe,engine)
一直報(bào)錯(cuò):
unsupported format character
解決方案
第一:
sql_exe ="""select id,title,tags from source.base.table where tags like '%%呵呵%%' """
第二:
sql_exe ="""select id,title,tags from source.base.table where tags like %s """
df = pd.read_sql_query(sql_exe,engine,params=("%呵呵%",))
補(bǔ)充:pd.read_sql()知道這些就夠用了
如下:
pandas.read_sql(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None, chunksize=None)
各參數(shù)意義
sql:SQL命令字符串
con:連接sql數(shù)據(jù)庫(kù)的engine,一般可以用SQLalchemy或者pymysql之類的包建立
index_col: 選擇某一列作為index
coerce_float:非常有用,將數(shù)字形式的字符串直接以float型讀入
parse_dates:將某一列日期型字符串轉(zhuǎn)換為datetime型數(shù)據(jù),與pd.to_datetime函數(shù)功能類似??梢灾苯犹峁┬枰D(zhuǎn)換的列名以默認(rèn)的日期形式轉(zhuǎn)換,也可以用字典的格式提供列名和轉(zhuǎn)換的日期格式,比如{column_name: format string}(format string:"%Y:%m:%H:%M:%S")。
columns:要選取的列。一般沒(méi)啥用,因?yàn)樵趕ql命令里面一般就指定要選擇的列了
chunksize:如果提供了一個(gè)整數(shù)值,那么就會(huì)返回一個(gè)generator,每次輸出的行數(shù)就是提供的值的大小。
設(shè)置參數(shù)can–>創(chuàng)建數(shù)據(jù)庫(kù)鏈接的兩種方式
用sqlalchemy構(gòu)建數(shù)據(jù)庫(kù)鏈接
import pandas as pd
import sqlalchemy
from sqlalchemy import create_engine
# 用sqlalchemy構(gòu)建數(shù)據(jù)庫(kù)鏈接engine
connect_info = 'mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8'
engine = create_engine(connect_info)
# sql 命令
sql_cmd = "SELECT * FROM table"
df = pd.read_sql(sql=sql_cmd, con=engine)
用DBAPI構(gòu)建數(shù)據(jù)庫(kù)鏈接
import pandas as pd
import pymysql
# sql 命令
sql_cmd = "SELECT * FROM table"
# 用DBAPI構(gòu)建數(shù)據(jù)庫(kù)鏈接engine
con = pymysql.connect(host=localhost, user=username, password=password, database=dbname, charset='utf8', use_unicode=True)
df = pd.read_sql(sql_cmd, con)
read_sql與read_sql_table、read_sql_query
read_sql本質(zhì)上是read_sql_table、read_sql_query的統(tǒng)一方式。
三者都return返回DataFrame。
1、read_sql_table
Read SQL database table into a DataFrame.
2、read_sql_query
Read SQL query into a DataFrame.
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教。
您可能感興趣的文章:- Pandas 模糊查詢與替換的操作
- Pandas的數(shù)據(jù)過(guò)濾實(shí)現(xiàn)
- Python遍歷pandas數(shù)據(jù)方法總結(jié)
- python中數(shù)據(jù)庫(kù)like模糊查詢方式