• 0
Sign in to follow this  
Linkin Man

Dump de caterogias (curl MLB/MLA) com erros

Question

Por favor, estou impactado com o Dump de categorias que está me impossibilitando prosseguir com o projeto.

Baixei com o curl conforme a documentação, tanto o MLA como o MLB estão dando o seguinte erro ao importar para o MySQL:

Teste 1)

LOAD DATA LOCAL INFILE '/tmp/categoriesMLB' INTO TABLE temp_categories (dados)    Error Code: 3140. Invalid JSON text: "Missing a comma or '}' after an object member." at position 1612277 in value for column 'temp_categories.dados'.    1491,787 sec

A tabela que criei está com a seguinte estrutura json:

create table temp_categories(dados json DEFAULT NULL);

Teste 2)

A tabela está com o campo tipo longtext:

create table temp(dados longtext NOT NULL);

A importação foi normal, porém ao tentar fazer um Select deu o seguinte erro como acima(Teste 1): "Missing a comma or '}'. 

Error Code: 3141. Invalid JSON text in argument 1 to function json_extract: "Missing a comma or '}' after an object member." at position 1612277.
 

Alguém ja passou por isto? Os .gzip estão sendo gerados com erro mesmo como descrito acima? Obrigado desde já.

Share this post


Link to post
Share on other sites

4 answers to this question

Recommended Posts

  • 0

Na tabela como campo tipo longtext importou normal como mostrei acima, daí no Select não funciona. Creio que aqui a maioria dos devs utilizam MySQL. Se alguém já passou por isso, por favor, me ajude. Obrigado

Share this post


Link to post
Share on other sites
  • 0

mldev, cara eu não conhecia o NoSQL, fiz uma pesquisa aqui e achei bem interessante pare este propósito, vc me indicaria um para eu instalar aqui? Estou desenvolvendo em PHP no Ubuntu.

Share this post


Link to post
Share on other sites
  • 0

mldev, cara instalei o MongoDB, é um ótimo BD, porém nos testes que fiz, ele tem uma limitação de 16MB para importar json. Com .csv consegui importar bases de 200MB sem problemas.

Com json fiz vários testes e baixei outras bases de categorias de outros países menores que 16MB e importou sem problemas, a base de categorias do Peru que descompactado é 18MB curl https://api.mercadolibre.com/sites/MPE/categories/all  > categoriesMPE.gz deu erro pois passou dos 16MB.

Tem como quebrar o json de categorias e importar pro MongoDB?

 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this