关于ODBParser
ODBParser它是一种公共资源信息工具,可以帮助研究人员从Elasticsearch和MongoDB搜索、分析和导出我们感兴趣的数据。此外,该工具还可以帮助研究人员从开放数据库中搜索曝光的个人识别信息(PII)。
ODBParser主要目标是为搜索、分析和分析开放数据库创建一站式开放资源信息工具,以识别第三方服务器PII泄漏。
功能介绍
(1) 识别开放数据库
- 使用所有可行参数查询Shodan和BinaryEdge,可通过国家、端口号等内容过滤查询结果;
- 指定单个IP地址;
- 加载IP地址列表文件;
- 粘贴剪贴板IP地址列表;
导出选项:
- 分析所有数据库/集合以识别指定数据;
- 在目标服务器中获取托管的所有数据;
- 获取集合/索引数据;
- 使用Ctrl C跳过特定索引;
(2) 后渗透处理
- 将JSON导出数据转换为CSV;
- 从CSV中移除特定列;
(3) 其他功能
- 所有跟踪查询IP每个服务器的地址、数据库和信息;
- 对于每个记录总数超过限制的数据库,脚本将在特殊文件中创建一个项目和五个示例记录,以便您能够检查和决定数据库是否值得捕获;
- 默认输出是行分隔的JSON每行都有一个文件JSON对象。你可以用“properjson”选择标志输出“适当的JSON”文件;
工具安装
首先,我们需要使用以下命令将项目源代码克隆到本地:
gitclonehttps://github.com/citcheese/ODBParser.git接下来,我们需要自己获得Shodan和BinaryEdge的API密钥,并在ODBconfig.py相应的参数配置在文件中。
最后,根据项目目录requirements.txt安装和配置工具所需的依赖组件。
我建议广大研究人员创建一个ODBParser该工具目前处于虚拟环境中Windows 10(Python 3.7.3)在环境中进行了测试。
工具使用
Examples:pythonODBParser.py-cnUS-p8080-tusers--elastic--shodan--csv--limit100pythonODBParser.py-ip192.168.2:8080--mongo--ignorelogs--nosizelimitsDamageto-date:0serversparsed|0databasesdumped|0recordspulled_____________________________________________________________________________optionalarguments:-h,--helpshowthishelpmessageandexitQueryOptions:--shodan,-shAddthisflagifusingShodan.SpecifyESorMDBw/flags.--binary,-beAddthisflagifusingBinaryEdge.SpecifyESorMDBw/flags.--ip,-ipQueryoneserver.Addportlikeso'192.165.2.1:8080'orwillusedefaultportsforeachdbtype.AddESorMDBflagstospecifyparser.--file,-fLoadline-separatedIPsfromfile.Addportorwillassumedefaultportsforeachdbtype.AddESorMDBflagstospecifyparser.--paste,-vQueryline-separatedIPsfromclipboard.Addportorwillassumedefaultportsforeachdbtype,e.g.9200forES.AddESorMDBflagstospecifyparser.Shodan/BinaryEdgeOptions:--limit,-lMaxnumberofresultsperquery.Defaultis500.--port,-pFilterbyport.--country,-cnFilterbycountry(two-lettercountrycode).--terms,-tEnteranyadditionalquerytermsyouwanthere,e.g.'users'DumpOptions:--mongo,-mdbUseforIP,Shodan,BinaryEdge&Pastemethodstospecifyparser.--elastic,-esUseforIP,Shodan,BinaryEdge&Pastemethodstospecifyparser.--properjson,-pjAddthisflagifwouldlikeoutputtobeproperJSONfile.DefaultisoneJSONstringobjectperline.--database,-dbSpecifydatabaseyouwanttograb.ForMDBmustbeinformatformat'db:collection'.UsewithIParg&'es'or'mdb'flag--getall,-gGetallindicesregardlessoffieldsandcollection/indexnames(overridesselectionsinconfigfile).--ignorelogsConnecttoaserveryou'vealreadycheckedout.--nosizelimits,-nDumpindexnomatterhowbigitis.Defaultmaxdoccountis800,000.--csvConvertJSONdumpsintoCSVformatonthefly.(PutsJSONfilesinbackupfolderincasethereisissuewithcoversion)CSV/Post-processingOptions:--convertToCSV,-cConvertJSONfileorfolderofJSONdumpstoCSVsafterthefact.Enterfullpathorfoldernameincurrentworkingdirectory--dontflattenUseifrunintomemoryissuesconvertingJSONfilestoCSVduringpost-processing.--basicUsewith--convertToCSVflagifyourJSONdumpsarenottrueJSONfiles,butratherlineseparatedJSONobjectsthatyougotfromothersources.--dontclean,-dcChooseifwanttokeepuselessdatawhenconverttoCSV.Seedocsformoreinfo.项目地址
ODBParser:【GitHub传送门】