• 0
Sign in to follow this  
Linkin Man

Dump de caterogias (curl MLB/MLA) com erros

Question

Por favor, estou impactado com o Dump de categorias que está me impossibilitando prosseguir com o projeto.

Baixei com o curl conforme a documentação, tanto o MLA como o MLB estão dando o seguinte erro ao importar para o MySQL:

Teste 1)

LOAD DATA LOCAL INFILE '/tmp/categoriesMLB' INTO TABLE temp_categories (dados)    Error Code: 3140. Invalid JSON text: "Missing a comma or '}' after an object member." at position 1612277 in value for column 'temp_categories.dados'.    1491,787 sec

A tabela que criei está com a seguinte estrutura json:

create table temp_categories(dados json DEFAULT NULL);

Teste 2)

A tabela está com o campo tipo longtext:

create table temp(dados longtext NOT NULL);

A importação foi normal, porém ao tentar fazer um Select deu o seguinte erro como acima(Teste 1): "Missing a comma or '}'. 

Error Code: 3141. Invalid JSON text in argument 1 to function json_extract: "Missing a comma or '}' after an object member." at position 1612277.
 

Alguém ja passou por isto? Os .gzip estão sendo gerados com erro mesmo como descrito acima? Obrigado desde já.

Share this post


Link to post
Share on other sites

9 answers to this question

Recommended Posts

  • 0

o erro é da importação do DB (não tem relação com a API), pelo erro informado é devido a algum caracter que não foi escapado ou que está faltando para os padrões do MySQL

como não usamos MySQL devido as limitações, não sei te ajudar, o melhor é fazer essa pergunta em um fórum de usuários de DB MySQL

Share this post


Link to post
Share on other sites
  • 0

Na tabela como campo tipo longtext importou normal como mostrei acima, daí no Select não funciona. Creio que aqui a maioria dos devs utilizam MySQL. Se alguém já passou por isso, por favor, me ajude. Obrigado

Share this post


Link to post
Share on other sites
  • 0

o MySQL não é bem limitado, e não é adequado para se trabalhar com consultas de JSON, recomendo que use um banco de dados NoSQL (com suporte nativo a JSON) para essa finalidade de consulta

Share this post


Link to post
Share on other sites
  • 0

mldev, cara eu não conhecia o NoSQL, fiz uma pesquisa aqui e achei bem interessante pare este propósito, vc me indicaria um para eu instalar aqui? Estou desenvolvendo em PHP no Ubuntu.

Share this post


Link to post
Share on other sites
  • 0

existem muitas opções (cada uma tem seu propósito e finalidade), pra esse caso eu te recomendaria o MongoDB. Não usamos o MongoDB porque temos preferências por outros mais específicos, mas te recomendo ele porque é relativamente robusto e como é um dos DB NoSQL mais conhecidos você acha muito material na internet e é de fácil uso com o PHP

Share this post


Link to post
Share on other sites
  • 0

não recomendo o Firebase, porque ele é um DBaaS (Data Base as a Service), ou seja, você contrata o serviço de banco de dados em nuvem, que é do Google (e não é um produto Open Source), então você fica na mão do quanto eles querem cobrar, como querem cobrar e etc ... já outros como o MongoDB, CouchDB, CouchBase, são open source, você instala no seu servidor e tem total autonomia sobre eles e os dados

Share this post


Link to post
Share on other sites
  • 0

mldev, cara instalei o MongoDB, é um ótimo BD, porém nos testes que fiz, ele tem uma limitação de 16MB para importar json. Com .csv consegui importar bases de 200MB sem problemas.

Com json fiz vários testes e baixei outras bases de categorias de outros países menores que 16MB e importou sem problemas, a base de categorias do Peru que descompactado é 18MB curl https://api.mercadolibre.com/sites/MPE/categories/all  > categoriesMPE.gz deu erro pois passou dos 16MB.

Tem como quebrar o json de categorias e importar pro MongoDB?

 

Share this post


Link to post
Share on other sites
  • 0

não tenho como ajudar porque aqui não usamos o MongoDB (usamos outras soluções mais específicas, mas que são pagos), esse foi uma sugestão porque é um dos mais usados, só brinquei um pouco com ele, então não tenho como te dizer exatamente, mas o caminho é por aí

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Answer this question...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Loading...
Sign in to follow this