• 0
Marcio Sales

Importação do Dump de Categorias para banco de dados

Question

Boa tarde Pessoal,

 

Estou precisando de uma grande ajuda, já fiz inúmeras pesquisas e não achei uma solução.

 

O mercado livre recomenda que seja realizado diariamente o dump de categorias para uso local e offline, mas não descobri uma forma de ler o arquivo de dump, com mais de 200 MB, para efetuar a importação para o banco de dados.

 

Atualmente utilizo PHP 7 com MySQL.

 

Alguém tem uma orientação ou dica de como fazer isso?

 

Agradeço a atenção de todos.

 

Abs,

 

Marcio

Share this post


Link to post
Share on other sites

17 answers to this question

Recommended Posts

  • 0

O arquivo está em JSON, então é fazer a conversão para XML ou outro e importar.
Ou fazer direto.

Ó! dá até para fazer por javascript:  http://pt.stackoverflow.com/questions/91865/como-ler-um-arquivo-json-sem-um-servidor

https://msdn.microsoft.com/pt-br/library/jj950082(v=vs.120).aspx

 

https://pt.slideshare.net/marciopalheta/captulo-10-sincronizao-de-dados-usando-json(este eu não vi)

 

eu não consegui baixar o arquivo para ver de novo, faz muito tempo que vi isto

Share this post


Link to post
Share on other sites
  • 0

Olá Rodrigo, primeiramente obrigado pela sua atenção.

 

Devido ao tamanho do arquivo json, com mais de 200 MB, essa solução não funciona, pois ela fica travada.

 

Será que alguém já conseguiu carregar um arquivo desse tamanho?

 

Marcio

Share this post


Link to post
Share on other sites
  • 0

Olá Rodrigo, primeiramente obrigado pela sua atenção.

 

Devido ao tamanho do arquivo json, com mais de 200 MB, essa solução não funciona, pois ela fica travada.

 

Será que alguém já conseguiu carregar um arquivo desse tamanho?

 

Marcio

 

neste caso o problema é a limitação do seu servidor, aqui trabalhamos com o dump das categorias sem problemas... no seu caso ou contrate um serviço mais robusto ou faça manualmente através do navegador e inserção manual no DB

Share this post


Link to post
Share on other sites
  • 0

neste caso o problema é a limitação do seu servidor, aqui trabalhamos com o dump das categorias sem problemas... no seu caso ou contrate um serviço mais robusto ou faça manualmente através do navegador e inserção manual no DB

Bom dia, acho que não expliquei direito qual a minha dificuldade. Ainda não tenho servidor, estou fazendo isso na minha estação. A dificuldade é conseguir ler o o json de categorias, pois devido a tamanho, ele trava o processo. Gostaria de uma ajuda no script de importação, pois tentei de várias formas e não consegui. Você tem um modelo do script que você usa para ler o arquivo?

Share this post


Link to post
Share on other sites
  • 0

Bom dia, acho que não expliquei direito qual a minha dificuldade. Ainda não tenho servidor, estou fazendo isso na minha estação. A dificuldade é conseguir ler o o json de categorias, pois devido a tamanho, ele trava o processo. Gostaria de uma ajuda no script de importação, pois tentei de várias formas e não consegui. Você tem um modelo do script que você usa para ler o arquivo?

 

se trava é questão então da sua maquina ou configurações... quanto ao script você terá que criar conforme sua necessidade e arquitetura, os dados estão lá no arquivo, cada um utiliza da forma que melhor lhe atende de acordo com sua necessidade (linguagem, DB utilizado, forma de consulta etc)... 

Share this post


Link to post
Share on other sites
  • 0

Obrigado pela ajuda!!!

 

se trava é questão então da sua maquina ou configurações... quanto ao script você terá que criar conforme sua necessidade e arquitetura, os dados estão lá no arquivo, cada um utiliza da forma que melhor lhe atende de acordo com sua necessidade (linguagem, DB utilizado, forma de consulta etc)... 

Share this post


Link to post
Share on other sites
  • 0

@Marcio Sales dependendo do banco de dados que você utiliza, eu recomendaria você fazer a importação através de bulkinsert. Você poderia jogar os dados para uma tabela temporária e depois usar um recurso do próprio banco para transpor esses dados para as tabelas definitivas.

 

Mysql: 

https://dev.mysql.com/doc/refman/5.7/en/load-data.html

http://stackoverflow.com/questions/14330314/bulk-insert-in-mysql

 

SQL Server:

https://docs.microsoft.com/en-us/sql/t-sql/statements/bulk-insert-transact-sql

 

Abraços.

 

Pierre Noronha

 

Share this post


Link to post
Share on other sites
  • 0

boa noite pessoal, alguém tem as categorias atualizados via sql, essa link que passaram esta desatualizada e é de 2017 e pesquisando algumas delas nem em mais na api do mercado livre. Outra dúvida teria como fazer uma publicação e o proprio ML encontrar a categoria pela descrição do produto?

 

Share this post


Link to post
Share on other sites
  • 0

isso vale para muitos: PAREM DE SER PREGUIÇOSOS!

consumir a API de categorias é moleza! vocês perdem mais tempo tentando achar alguém pra "doar" a tabela do que fazendo... e sim, sempre vai estar desatualizado pois as categorias mudam quase todo dia... aprendam a fazer em vez de ficar de mendicância

Share this post


Link to post
Share on other sites
  • 0

esses moderadores do ML são umas piadas, ja venho observando aqui no fórum várias mensagens deles, aqui não se pode perguntar, questionar e nem dar opinião pra nada que vem logo esculachando o pessoal, verdadeira piada.

Ja vi isso em vários fóruns, sempre acham que sabem de tudo e na realidade a palavra fórum não serviria para nada ja que ninguém pode perguntar ou dar uma opinião.

Não vejo nenhum problema se eu tivesse o script passar para o pessoal, ja que gastaríamos o tempo com outras coisas, em vez de ficar tentando fazer essa importação ou o próprio ML

 

Eu peguei o json pela api e por exemplo não estou conseguindo fazer a importação para o meu delphi, não sei o motivo, não sei se é o tamanho ou outro problema

Gostei da palavra mendicância 

Share this post


Link to post
Share on other sites
  • 0
21 hours ago, Fernando Rodrigo said:

esses moderadores do ML são umas piadas, ja venho observando aqui no fórum várias mensagens deles, aqui não se pode perguntar, questionar e nem dar opinião pra nada que vem logo esculachando o pessoal, verdadeira piada.

uma coisa é perguntar e ter dúvida... outra coisa é pedir pronto, das duas uma: ou é preguiça ou é falta de capacidade

 

21 hours ago, Fernando Rodrigo said:

Ja vi isso em vários fóruns, sempre acham que sabem de tudo e na realidade a palavra fórum não serviria para nada ja que ninguém pode perguntar ou dar uma opinião.

se a pessoa é moderadora é porque algum mérito ela tem, você deveria respeitar esse conhecimento e dar graça a deus que alguém compartilha isso hoje em dia DE GRAÇA... infelizmente é assim em vários forums mesmo... as pessoas entram, pedem coisas prontas e depois que tem o que precisam somem (e ainda querem esculachar os moderadores que acham isso errado e dão puxão de orelha

 

21 hours ago, Fernando Rodrigo said:

Não vejo nenhum problema se eu tivesse o script passar para o pessoal, ja que gastaríamos o tempo com outras coisas, em vez de ficar tentando fazer essa importação ou o próprio ML

eu vejo problema nisso sim: é o famoso "programador" "ctrl+C & ctrl+V" ... já perdi a conta de quantos clientes atendi que perderam muito tempo e/ou dinheiro por falhas de sistema devido a incapacidade de muitos "programadores" ... a pessoa que se diz "programador" tem que, no mínimo, saber "programar"

 

22 hours ago, Fernando Rodrigo said:

Eu peguei o json pela api e por exemplo não estou conseguindo fazer a importação para o meu delphi, não sei o motivo, não sei se é o tamanho ou outro problema

entender como sua linguagem funciona, sua capacidade e limitações é um bom começo, fazer testes e logs também... se tiver uma dúvida realmente estruturada tenho certeza que irão te ajudar, tem vários programadores ótimos que trabalham com Delphi aqui no forum

 

22 hours ago, Fernando Rodrigo said:

Gostei da palavra mendicância 

é sempre bom expandir o vocabulário (em todas as linguagens) 🙂

como disse, é um aviso geral

boa sorte!

Share this post


Link to post
Share on other sites
  • 0
On 2/25/2020 at 4:05 PM, Fernando Rodrigo said:

Não vejo nenhum problema se eu tivesse o script passar para o pessoal, ja que gastaríamos o tempo com outras coisas, em vez de ficar tentando fazer essa importação ou o próprio ML 

Tente o github, tem bastante solução gratuita lá. Eu até tenho código aberto por lá.

Share this post


Link to post
Share on other sites
  • 0
5 minutes ago, rodrigojob said:

Tente o github, tem bastante solução gratuita lá. Eu até tenho código aberto por lá.

@rodrigojob, mas aí tem que procurar né? sacanagem!!! 🤣

Share this post


Link to post
Share on other sites
  • 0

@rodrigojobé justamente isso que sempre digo, se vc tem e pode ajudar os colegas porque não ?

ja mandei códigos inteiros para o pessoal que estava com dificuldade em tef com acbr, ate conectar nas maquinas dos caras eu ja fiz para ajudar, mas tem meia dúzias de programadores que são assim, acham que nunca irão precisar de ninguém, viram estrelinhas.

Eu montei o código e fiz a importação das categorias se alguem quiser os fontes passo sem problema, ate a sql para importação tambem se precisar, so entrar em contato comigo, não tenho essa de ficar amarrando código para ninguem.

Essa turma de programadores são o segmento mais desunido que ja vi, ninguém ajuda ninguém, mas em toda profissão existe isso, fazer o que, 

 

 

Share this post


Link to post
Share on other sites
  • 0
35 minutes ago, Fernando Rodrigo said:

te mando ela e vc sobe pro git pq não tenho cadastro la, vc quer os fontes do projeto todo ou somente as sql 

poxa Fernando, você que é tão colaborativo e solidário sequer tem um git? 🤔

 

58 minutes ago, Fernando Rodrigo said:

ja mandei códigos inteiros para o pessoal que estava com dificuldade em tef com acbr, ate conectar nas maquinas dos caras eu ja fiz para ajudar, mas tem meia dúzias de programadores que são assim, acham que nunca irão precisar de ninguém, viram estrelinhas.

esse é um bom  exemplo, o que já vi de empresa ter prejuízo por integração de TEF não tá na história... mas porque será? acho que o fato de só copiarem o código dos outros em vez de saber programar não deve ter nada haver né? ( e não venha me dizer que é para aprendizado porque não se aprende copiando e colando, e a função de uma documentação é justamente essa)

 

1 hour ago, Fernando Rodrigo said:

Essa turma de programadores são o segmento mais desunido que ja vi, ninguém ajuda ninguém, mas em toda profissão existe isso, fazer o que, 

legal esse conceito de "ajudar é quando dá pronto"... olha bem pra sua volta e vai ver que na realidade a programação é uma das profissões mais colaborativas e mais fáceis do cara estudar que existem! o que tem de curso, video, tutorial, código e ferramentas opensource não dá nem pra contar, então basta ter vontade... ou você acha que engenharia civil/elétrica/estrutural/mecânica, química, medicina e tantas outras profissões é essa moleza toda?

tem vários aqui que estão há anos no fórum ajudando quem quer ser ajudado... no seu caso (até agora) só vi você interessado no seu próprio problema (e olha que postou bastante coisa), mas espero que tenha sido apenas uma "desatenção" sua e ver você aqui frequentemente ajudando o pessoal nas dúvidas

 

abraços e boa sorte!

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now