반응형

해당 데이터는 URL html 소스를 가져와 <script> 의 JSON 값을 가져와서 추출

1.네이버쇼핑 크롤링

URL : https://search.shopping.naver.com/search/all?query=청바지&cat_id=&frm=NVSHATC

컬럼 스탭1컬럼 스탭2비고

rank   쇼핑물품 랭킹순위

광고일 경우 그 상품의 실제 랭킹이 나오는것으로 판단
예) rank : 7 이지만 맨 상단에 존재함.
adId   광고 상품 ID

광고일 경우에만 존재함.

예) nad-a001-02-000000043848044
id   상품 ID (81164854575)
productTitle   상품 이름(제목)  
mallName   쇼핑몰 명 쇼핑몰리스트가 있을경우 Null
mallNo   쇼핑몰 고유번호 쇼핑몰리스트가 있을경우 Null
price   가격  
maker   제조사 예) 나이키
brand   브랜드  
category1Id   카탈로그 1 ID  
category2Id   카탈로그 2 ID  
category3Id   카탈로그 3 ID  
category4Id   카탈로그 4 ID 대부분 3까지 존재함.
category1Name   카탈로그 1 이름  
category2Name   카탈로그 2 이름  
category3Name   카탈로그 3 이름  
category4Name   카탈로그 4 이름 대부분 3까지 존재함.
imageUrl   해당 이미지 URL  
adcrUrl   해당 상품 접속 URL

광고 일 경우 해당 값으로 전달됨.

해당 URL은 스마트스토어, 및 구분이 되지는 않음.
mallProductUrl   해당 상품 접속 URL

일단 상품일 경우 해당 값에 URL이 나옴.

스마트스토어 인지 판단 가능.
lowMallList   쇼핑몰 리스트 Null 일경우 해당 쇼핑몰 정보(malllnfoCache) 가 존재.
mallInfoCache   쇼핑몰 정보 lowMallList 가 있을 경우 mallInfoCache 데이터가 생성됨.
  seq   쇼핑몰 고유번호와 동일 (mallNo)
  prodCnt   해당 쇼핑몰의 상품 판매갯수
  bizplBaseAddr   쇼핑몰 주소
  businessNo   쇼핑몰 비니지스 고유번호

 

 

{
	"props": {
		"initialState": {
			"pageProps": {
				"products": {
					"list": [
						{
							"item": {
								"collection": "product",
								"purchaseConditionInfos": null,
								"rank": "1",
								"adId": "nad-a001-02-000000029084315",
								"id": "80067642166",
								"parentId": "12084409008",
								"productTitle": "[28-42] 가을 남자청바지 일자 스판 워싱진 58종 연청 블랙진 9부 컷팅진 빅사이즈",
								"mallName": "핫코드",
								"isBrandStore": "0",
								"isNaverPay": "1",
								"isMblNaverPay": "1",
								"nPayPcType": "2",
								"nPayMblType": "2",
								"saleTp": "0",
								"mallInfo": "0",
								"coordiScr": "1",
								"isCoordiCtg": "1",
								"isAdult": "0",
								"hasVideo": "0",
								"isHotDeal": "0",
								"purchaseCnt": "5179",
								"mblSimImgSgntCnt": "1",
								"priceUnit": "KRW",
								"tvProdInfo": "^^",
								"mobileLowPrice": "17900",
								"mallProductId": "2569898604",
								"imgColorCd": "16385",
								"lowPrice": "17900",
								"price": "17900",
								"dummy": "2020-11-10 14:59:53",
								"imgSgnt": "12647599125737729913563161344",
								"demography": "@@",
								"lstRcvYmdt": "20201110",
								"checkOutReviewCount": "0",
								"mallNo": "233788",
								"category2Name": "남성의류",
								"descriptionOrder": "C12003|RV",
								"category2Id": "50000169",
								"category1Id": "50000000",
								"category3Id": "50000835",
								"category1Name": "패션의류",
								"imgVersion": "5",
								"prchCondInfo": "||||||",
								"highPrice": "0",
								"naverPayAccumRto": "0.0",
								"imageUrl": "https://shopping-phinf.pstatic.net/main_8006764/80067642166.5.jpg",
								"isLgtModelMat": "1",
								"category3Name": "청바지",
								"hasLowestCardPrice": "0",
								"openDate": "20180307021509",
								"displayNx": "1",
								"mobilePrice": "17900",
								"isExceptedBest100": "0",
								"categoryPlusId": "5000000050000169",
								"manuTag": "남자청바지,남성청바지,스판청바지,일자청바지,가을신상,찢어진청바지",
								"additionalImageCount": "9",
								"reviewCountSum": "12286",
								"mallCount": "5",
								"mallId": "hotcode",
								"reviewCount": "12286",
								"productName": "[28-42] 가을 남자청바지 일자 스판 워싱진 58종 연청 블랙진 9부 컷팅진 빅사이즈",
								"demoBM": "33024",
								"prodTp": "1",
								"mpTp": "2",
								"dlvryCont": "0||^^택배^^^^2500^5000^^",
								"overseaTp": "0",
								"imgSz": "600x600",
								"dlvryCd": "1",
								"isAddExps": "1",
								"isMisImg": "0",
								"chnlSeq": "500053452",
								"wdTp": "0",
								"attributeValue": "하의기장|하의핏|신축성|밑위|워싱|성별",
								"hasCouponContent": "1",
								"shopNNo": "233788",
								"deliveryFeeContent": "0",
								"buyPointContent": "^279^279^^^0^0",
								"hasEventContent": "0",
								"characterValue": "긴바지|슬림핏|신축성있음|기본허리선|다크블루|남성용",
								"characterValueSeqs": "M10258087 M10040058 M10732771 M10040025 M10040011 M10029065",
								"simImgSgntCount": "1",
								"attributeValueSeqs": "10013413 10011007 10013416 10011010 10011008 10005212",
								"hasBuyPointContent": "1",
								"hasCardContent": "0",
								"couponContent": "11000원^^^",
								"hasDeliveryFeeContent": "1",
								"naverAnalyticsAccountId": "s_7a614a8a13bb8981",
								"adcrUrl": "https://adcr.naver.com/adcr?x=KOZHLjpH4WMO6R3NE7ixJf///w==k02c3WV4ITM4ot4oupp9S5gPygY38bq+kyrNbNmSHa4DWxVLlemCSGrqsb41RHxujfaULigLzAD2RFKY0DfKKudobvRMEkwgC9EGa0KKOXczq3gd4JXAiXx9+wGUGRYP/ExcY9DipmmGTo1InhUQY8O8roHDZY3gOThmXtZCV3YSckbdsGw2S6mu2C7V+p9/K+MZvrlvwMcq0AFmBlJf0w1yEa4UFz2NH5z0G7QS9CCrWqpEm/6MSGf9eSlNJGCs2BUpsbypLboxsXTqyptgJJun0FhPAYEpel4+zWafQ6Nr1XnsueH1OBqlQh9/s4GY7zgf7SDtYSpfZDm2tB0IlcWWOuJV5O2N5YnDrSL2VYNUtfVwXjm0+stvS05mNDgUglQnu+ZTw8jw8/ng0dxwBEXnwg7vIGMz6auDYpTXd+5eY7ESSUVhvC5xrspXc45RO7rPxW+9ifL1R6DjU8XXXMJUlx6DQt7CTr/7fLFuk2IgTf7sMcoGLHbP67YlLatpJ6lyHuqFiZkqPuR3JBWmwqQlT9BMfCkSJFMcglFCJhVnd6L1BbLI4tK24OOGNNKR73On3zIzFp9kbJIfmuzExfoxfmJQVkRpRLrf4/POhuuQBo+FkMVrlAsUuuZHbvDFj/OMdVEqMpeXcbtpdfrvEhlzt0MAyj7Qys3RA34OIhBp2yGg8tT3UM+IuE7WYM5vY/pdhWY7iUCBJ+hSDpUrFyqkP0mAPoTPOroua8lGwWtxrTkCnRLoZM1wdDkLGMaoO",
								"naverPayAdAccumulatedType": "1",
								"naverPayAdAccumulatedValue": "2",
								"naverPayAdAccumulatedDisplayValue": "포인트 637원",
								"adAdditionalDescription": "2장이상 사은품제공",
								"adAdditionalLongDescription": "핏이예쁜 남자청바지 / 사은품제공!",
								"adProductInfoEnabled": "true",
								"lowMallList": null,
								"mallInfoCache": {
									"seq": "233788",
									"prodCnt": "780",
									"name": "핫코드",
									"bizplBaseAddr": "부산광역시 부산진구 가야대로703번나길  16 3층 (우 : 47262) ",
									"bizplDtlAddr": null,
									"businessNo": "2388800340",
									"onmktRegisterNo": "2016-부산부산진-0084",
									"mallIntroduction": "겨울 신상 대량 입고! 기모청바지, 후리스 점퍼, 셔츠, 면바지, 슬랙스 ★빅사이즈 완벽!",
									"mallLogos": {
										"MALL": "https://ssl.pstatic.net/imgshopping/mallimg/logo/flash/233788_1398821887135.jpg",
										"REPRESENTATIVE": "https://shop-phinf.pstatic.net/20190806_92/hotcode_1565071320171HJ1Mm_JPEG/2433653753741770_1813386582.jpg",
										"FORYOU": "https://shopping-phinf.pstatic.net/20201109_9/7ebdea28-e30f-42e7-8a4c-aac5557de5d9.jpg"
									},
									"mallGrade": "M44003",
									"goodService": false,
									"talkAccountId": "wcctbs",
									"eventScheduledCont": null,
									"adsrType": "SHOPN",
									"naverPay": true
								},
								"channelInfoCache": {
									"talkAccountId": "wcctbs"
								}
							},
							"type": "product"
						},
						{
							"item": {
								"collection": "product",
								"purchaseConditionInfos": [
									{
										"seq": "",
										"condition": "",
										"count": "",
										"lowPrice": "",
										"highPrice": "",
										"unitPrice": "",
										"unit": "",
										"crUrl": "https://cr.shopping.naver.com/adcr.nhn?x=T%2FmuOY27D6fmOc9Zwe8Vmf%2F%2F%2Fw%3D%3DsbR8uIs10lNqtrhfovAHiPJKmu1QZJl3onYxYl%2F%2FYv5VLVSlAW5fWUPF%2Bxeno1sOrR9cDHmEZ%2FDiUJueCJR3K%2Bet7ZsVUZ%2BndCF3Ym3%2F4KRSOuHGPyXtEeLz8ccDcAe092M3yhuL7EojkjtlKdOo6AEPg%2F6PYJW9LpCSumzPJoiiKl6jgnMWqWbL3KWH9FLwd%2FVQYtPTsGZJyV6XLZrtYKtTPPQ000E2blvdaoXHHZ%2FbTbhMjZ0fzZdJ0cCBsJnDP9wGiUI9IPy%2FxGWOMgJoU4VIy8bcCpvU4AZbY917gAFhk9nGdOHu6Gy8Co48pX%2FN8VhF3l8Emrmz7tKlGsUHzz2vqR2unsG9Pw6XBns%2FftjJmn%2B6FVZ%2Fm0w7K7lHYQAO7I4MNg7%2BxnF1jRCL%2FSJihdFC8IvS%2BNPsEPJ7D6mlNi%2F4PgpHJTXjMieq3hjbDds0NxljVGIg7TKBvjtCOSaUDTktdy%2F0DPgmbquq6SjnyPoNN46TQ2dghVCriodEieIR%2B1hPzLpnIjjlrmZrp8rfzj8NO5ayMnVL5IPnB0ZmLvjG7A%2F0vSPti8cHY4o2fastw%2FK1lEyP7SEOAeJJyMwyuVXpv03UpAbWMK%2BW6UOHFvWmP9ozmdV%2FWs5eTR9VTjChbTXubC0gxTydB2KDV1dF8S3yPyMyOJTEECDo5gHoUtzCCqA6%2BrrPkSkQjk3bFq%2FUy&nvMid=21616007059&catId=50000835"
									}
								],
								"rank": "2",
								"docid": "127000313743",
								"id": "21616007059",
								"parentId": "21616007059",
								"hasModelNameSearch": "0",
								"hasLowestCardPrice": "0",
								"isExceptedBest100": "0",
								"displayNx": "1",
								"hasPromotionCont": "0",
								"hasAddInFee": "0",
								"scoreInfo": "4.5",
								"category1Id": "50000000",
								"category2Id": "50000169",
								"category3Id": "50000835",
								"category4Id": "",
								"categoryPlusId": "5000000050000169",
								"category1Name": "패션의류",
								"category2Name": "남성의류",
								"category3Name": "청바지",
								"category4Name": "",
								"category4NameOrg": "",
								"categoryLevel": "3",
								"openDate": "20191227172146",
								"maker": "",
								"makerNo": "0",
								"brand": "",
								"brandNo": "0",
								"series": "",
								"seriesNo": "0",
								"attributeValueSeqs": "10013413 10011007 10013416 10011010 10011008 10005212",
								"attributeValue": "하의기장_P|하의핏_P|신축성_P|밑위_P|워싱_P|성별_A",
								"characterValueSeqs": "M10258087 M10040058 M10732771 M10040025 M10040011 M10029065",
								"characterValue": "긴바지|슬림핏|신축성있음|기본허리선|다크블루|남성용",
								"productName": "남자 겨울 기모청바지 스판 7종",
								"productTitle": "남자 겨울 기모청바지 스판 7종",
								"productTitleOrg": "남자 겨울 기모청바지 스판 7종",
								"description": "",
								"descriptionOrder": "C12003|RV",
								"searchKeyword": "",
								"lowPrice": "17800",
								"highPrice": "17900",
								"mobileLowPrice": "17800",
								"screenFlag": "M63001",
								"price": "17800",
								"mobilePrice": "17800",
								"priceUnit": "KRW",
								"lowestCardPrice": "",
								"lowestCardName": "",
								"reviewCount": "2147",
								"checkOutReviewCount": "0",
								"reviewCountSum": "2147",
								"day14ReviewCount": "4",
								"monthReviewCount": "4",
								"yearReviewCount": "4",
								"imageUrl": "https://shopping-phinf.pstatic.net/main_2161600/21616007059.20191228034111.jpg",
								"additionalImageCount": "9",
								"mallCount": "4",
								"mallNo": "0",
								"mallId": "naver_model",
								"mallName": "",
								"mallNameOrg": "",
								"mallProductId": "",
								"mallProductUrl": "",
								"mallProdMblUrl": "",
								"mallPcUrl": "",
								"mallSectionNo": "0",
								"isBrandStore": "0",
								"isNaverPay": "0",
								"isMblNaverPay": "0",
								"nPayPcType": "0",
								"nPayMblType": "0",
								"naverPayAccumRto": "0",
								"atmtTag": "넉넉한,워싱이예쁜,핏이좋은",
								"manuTag": "",
								"preferTag": "\n38489\t0m3\n38145\t0m2",
								"purchaseCnt": "0",
								"smryReview": "630273734-hotcode-2228321840`/`소재`/`기대한 만큼 좋은 재질과 다자인이어서 참 마음에 듭니다`/`seung***`/`5`/`20190201`|`516721335-hotcode-2390605677`/`색상`/`청바지 색상이 생각했던거보다 너무 마음에 듭니다`/`adhjy0***`/`5`/`20181022`|`802767275-hotcode-2228321840`/`라인`/`핏하고 스판하고 등등 다 좋았습니다`/`dir***`/`5`/`20200219",
								"isHotDeal": "0",
								"demoBitMask": "",
								"tvProdInfo": "^^",
								"isLgtModelMat": "0",
								"lnchYm": "20191227",
								"modelImgUrlList": "https://shopping-phinf.pstatic.net/main_2161600/21616007059.1.20191228034111.jpg,https://shopping-phinf.pstatic.net/main_2161600/21616007059.2.20191228034111.jpg,https://shopping-phinf.pstatic.net/main_2161600/21616007059.3.20191228034112.jpg,https://shopping-phinf.pstatic.net/main_2161600/21616007059.4.20191228034112.jpg,https://shopping-phinf.pstatic.net/main_2161600/21616007059.5.20191228034112.jpg,https://shopping-phinf.pstatic.net/main_2161600/21616007059.6.20191228034112.jpg,https://shopping-phinf.pstatic.net/main_2161600/21616007059.7.20191228034113.jpg,https://shopping-phinf.pstatic.net/main_2161600/21616007059.8.20191228034113.jpg,https://shopping-phinf.pstatic.net/main_2161600/21616007059.9.20191228034113.jpg",
								"keepCnt": "22",
								"lstRcvYmdt": "",
								"prchCondInfo": "||||||",
								"lowestPrcScrnTpList": "",
								"exchangeRateInfo": "",
								"modelCreTpCd": "M98003",
								"mpTp": "0",
								"overseaTp": "0",
								"saleTp": "0",
								"prodTp": "1",
								"wdTp": "0",
								"wdNm": "",
								"comNm": "",
								"imgSz": "640x640",
								"isChnlPnt": "",
								"chnlSeq": "",
								"mnQry": "",
								"demoBM": "34816",
								"mallInfo": "0",
								"isMisImg": "0",
								"coordiScr": "0",
								"isCoordiCtg": "1",
								"isAddExps": "",
								"dlvryCd": "0",
								"dlvryCont": "||",
								"isAdult": "0",
								"isAdultExpsRstct": "0",
								"videoId": "",
								"hasVideo": "0",
								"gdid": "00000009_0005086a1793",
								"deliveryFeeContent": "",
								"diffDeliveryFeeContent": "",
								"hasDeliveryFeeContent": "0",
								"eventContent": "",
								"hasEventContent": "0",
								"couponContent": "^^^",
								"hasCouponContent": "0",
								"cardContent": "",
								"hasCardContent": "0",
								"buyPointContent": "^^^^^0^0",
								"hasBuyPointContent": "0",
								"simImgSgntCount": "1",
								"mblSimImgSgntCnt": "1",
								"imgColorCd": "16385",
								"imgSgnt": "12471058266187901063589266202",
								"imgVersion": "20191228034111",
								"lowPriceByMallNo": "12456043574/233788/2228321840/17800/500053452",
								"shopNNo": "0",
								"newNormHit2": "0.2550",
								"dummy": "",
								"lowMallList": [
									{
										"nvMid": "12456043574",
										"mallSeq": "233788",
										"mallPid": "2228321840",
										"price": "17800",
										"chnlSeq": "500053452",
										"chnlType": "STOREFARM",
										"chnlName": "핫코드",
										"chnlNaverPay": true,
										"naverPay": true,
										"naverPayType": "NaverPayPlus",
										"name": "핫코드",
										"windowType": null
									}
								],
								"crUrl": "https://cr.shopping.naver.com/adcr.nhn?x=jJIgX%2FJ8yvOaGXpU%2F7ry6v%2F%2F%2Fw%3D%3DsltCxBY80ihGkkvGnR1mevDgpj1Vva5pxgcTfFOH%2FFYvGOx0NH2MA0a0so8ygH1CngklGUmTE84AQ9OPEqL1JmSRqK2FgjEIKDsdrBCfcPplQhBQnvnTO%2FiL0%2BodejYTLDmMjdP4Jlf32gJppkyiGbcv%2BjB2erv%2BZ%2Brrs5VHOiTRp8VhOdW8Gk%2Bhilsry7l0ddS6sP4tk69pyhfWAWRqCIdKgFLrc0RujVMjtoF1odKBYcRhBtdpYEzxCF9LebWmf0T2FLYXjZU1TovAmiALtFrjPEecLuOr5afmUZ6VJvj6GZ5a0ma%2FDwz3QQr7PLlrXJV03cukp%2F9sq6JmLvPVclP%2FpGvkkSfy%2B9FDy4mOYmRLR4gcB1s3LP%2Bj7Bmnmb5FUV36ogsAbT2GMBHUreotiQNqfv5UIdnjAgW%2BMfJ3%2FWzPCAJZRSh0vWdUgukqZpYphsPOfdzkfq%2BKsVKCdbkop2i1De7HCYOj7L1Lz129xw3b3CMQn9jRfOifsUnx9TIywmPYCwUw9SaE4z6W4A2fP2aq5JZVOONqISqd0x3Y6M2nT1mpfwCuiTZnxUPsMzspqT8AlxSYkXaLH96LNyv1p9ds%2B7nwUHUA7fz23ojqZXcMzvNOOz9Z2Oy37PPg8ubTUA35CyMrpXQUt3%2FJvHupy5s1ITc7NlRPvorKrNyQBKaY%3D&nvMid=21616007059&catId=50000835",
								"crUrlMore": "https://cr.shopping.naver.com/adcr.nhn?x=K94OrrmOkOu6F6sCiGNNlv%2F%2F%2Fw%3D%3Ds%2BL0lXfQKcXjJowSinqwI29u63M%2FLAjyIbmFzPJFUGWSwZeGnRgxnttveusjCcK4GWQIcDpgaeQ6iro6JEeUQ4cY8rD1JbA70On9XGkhEASp8vlEkCVsU0TwYALL8V76nR4lxSarKwF2Hbi3RRu8K0oBsJjzV%2F3vl5Lmd9HbkUGKmuJVM1QU1cDigHCsm0Q2kWbmz6dU%2B2EUMU2Bt95WhhQO1enscnNzFI3MMi5X3vfOWsE%2FC1OtgGk6xFkOq7gk7qiuJLOcie23pxt6BM6v7dNNiuJmluM%2Fzo51Pc3Ba5ZQ7%2Blbv6UeDOC2o2x4M6Poaw6ZjbtkbN7RD61dGUzg7G1qsmhWtsS26cBgiQoajA6o8GNcxpLpESuE%2FjrFliDy8ISFv7n5uAItYPm5%2BaPBVoHwnZ5vnzg8PFKHdN%2B9rFixvWhM8ooFahBTiEMt6qHvIoCF9uZFzpP1D3UyqhUgjqtbhtb7yQG5KW7%2B14KhuFJpWweTggCoEP%2F%2BHgZQwj2GT5Wl%2FifVOC1YDK3Bb0bH3g19T4KoDZhG5av2gq%2FRJz4eRNMQOfpqT7a2tyR5fbmKwQbS1cZ12ZIi4smp%2B8g4CohLPHBVE1X9hF6ZkrnPWwITM8qr0Q5vXsi0b8%2Bu6wUxet%2BeTHbvgRwccIZ2LNtxnaGhopkeKUdu5q4dSKA0zkoA%3D&nvMid=21616007059&catId=50000835"
							},
							"type": "product"
						},
						{
							"item": {
								"collection": "product",
								"purchaseConditionInfos": [
									{
										"seq": "",
										"condition": "",
										"count": "",
										"lowPrice": "",
										"highPrice": "",
										"unitPrice": "",
										"unit": "",
										"crUrl": "https://cr.shopping.naver.com/adcr.nhn?x=%2FCAW0jGoIM6JSyWFByprKP%2F%2F%2Fw%3D%3DsGphTR1EL7Iwc8D8NK%2BIn8WAlDLbbSk91ljv0yV%2FosrewZeGnRgxnttveusjCcK4GguyHLINtn2UZHsXvvfYQo8Y8rD1JbA70On9XGkhEASp8vlEkCVsU0TwYALL8V76nVpcCviPnRbZaxpidblYoWea0O2TX7GIDZW3de8vjU8yM3JWD%2BN0BB%2B9Exhu6fPryYQaM84jUGvXvh5gLv9Hm8UAj5vRFoOOdkigWXY8zhWmzmxj35sRQYluc1SrUJCw0SACfyUPb7GuBuWsGpjA91YrHsbeStsmJBfOvK7DA6okzAjWnVz5H8U2dshPC%2FHnKcG1awZthlDycUb175VysKn%2BUucnAxrsG3xHb9QOpCsJrR6puFRwx1J4Q4na%2BuwxM%2Fgmn9UWZ08Lu4vkhY3i2SBBYlbe18EfHbpSZmErndiyfLB440SYO1Cnk2bZ9BBPMrRsw2T1COAB3adgWpOQwMLTdcfGoFDbEgjZ9Qvt%2Fw50u%2FC86tDTe8A7VZgPIsttfLpZWN8skLy7TACK%2FKVvF9RrMKwZ6k3Cnv%2FmFpKn6BYPnlfMTIBWjuKvu5954syqo1g13VDxd5QBEZGpRgYgS%2BJw2pu7UAGtr%2BOajr5K2lK99Y9s3NC3X30JyNTTwr4NHAqFYP8YZgDWVRhWoVvk9uwN%2BQsjK6V0FLd%2Fybx7qcubNSE3OzZUT76KyqzckASmm&nvMid=81729819800&catId=50000835"
									}
								],
								"rank": "3",
								"docid": "9003041347",
								"id": "81729819800",
								"parentId": "81729819800",
								"hasModelNameSearch": "0",
								"hasLowestCardPrice": "0",
								"isExceptedBest100": "0",
								"displayNx": "1",
								"hasPromotionCont": "0",
								"hasAddInFee": "0",
								"scoreInfo": "",
								"category1Id": "50000000",
								"category2Id": "50000169",
								"category3Id": "50000835",
								"category4Id": "",
								"categoryPlusId": "5000000050000169",
								"category1Name": "패션의류",
								"category2Name": "남성의류",
								"category3Name": "청바지",
								"category4Name": "",
								"category4NameOrg": "",
								"categoryLevel": "3",
								"openDate": "20200117150705",
								"maker": "게스",
								"makerNo": "1584",
								"brand": "게스",
								"brandNo": "1326",
								"series": "",
								"seriesNo": "0",
								"attributeValueSeqs": "10013413 10011007 10013416 10011010 10011008 10005212",
								"attributeValue": "하의기장|하의핏|신축성|밑위|워싱|성별",
								"characterValueSeqs": "M10258087 M10040005 M10732771 M10040025 M10040011 M10029065",
								"characterValue": "긴바지|일자핏|신축성있음|기본허리선|다크블루|남성용",
								"productName": "게스 남자 청바지 일자핏 슬림핏 스판진 데님 미디엄블루진 연청 블랙진",
								"productTitle": "게스 남자 청바지 일자핏 슬림핏 스판진 데님 미디엄블루진 연청 블랙진",
								"productTitleOrg": "게스 남자 청바지 일자핏 슬림핏 스판진 데님 미디엄블루진 연청 블랙진",
								"description": "",
								"descriptionOrder": "C12003|RV",
								"searchKeyword": "",
								"lowPrice": "49860",
								"highPrice": "0",
								"mobileLowPrice": "49860",
								"screenFlag": "",
								"price": "49860",
								"mobilePrice": "49860",
								"priceUnit": "KRW",
								"lowestCardPrice": "",
								"lowestCardName": "",
								"reviewCount": "1369",
								"checkOutReviewCount": "0",
								"reviewCountSum": "1369",
								"day14ReviewCount": "56",
								"monthReviewCount": "134",
								"yearReviewCount": "1160",
								"imageUrl": "https://shopping-phinf.pstatic.net/main_8172981/81729819800.8.jpg",
								"additionalImageCount": "5",
								"mallCount": "0",
								"mallNo": "788563",
								"mallId": "ncp_1nohy9_01",
								"mallName": "ENJOY PANDA",
								"mallNameOrg": "ENJOY PANDA",
								"mallProductId": "4185298384",
								"mallProductUrl": "https://smartstore.naver.com/main/products/4185298384",
								"mallProdMblUrl": "https://m.smartstore.naver.com/main/products/4185298384",
								"mallPcUrl": "https://smartstore.naver.com/enjoy_panda",
								"mallSectionNo": "10",
								"isBrandStore": "0",
								"isNaverPay": "1",
								"isMblNaverPay": "1",
								"nPayPcType": "2",
								"nPayMblType": "2",
								"naverPayAccumRto": "0",
								"atmtTag": "노멀한,밑단이예쁜,워싱이예쁜|스포티한",
								"manuTag": "청바지코디,데일리코디,데일리코디룩,스판청바지,남자스판청바지,남자청바지,남자청바지핏,남성청바지,겨울기모청바지,기모청바지",
								"preferTag": "\n35737\t0m5\n31863\t0m3\n27152\t0m2\n29407\t0m4",
								"purchaseCnt": "1577",
								"smryReview": "",
								"isHotDeal": "0",
								"demoBitMask": "",
								"tvProdInfo": "^^",
								"isLgtModelMat": "0",
								"lnchYm": "",
								"modelImgUrlList": "",
								"keepCnt": "527",
								"lstRcvYmdt": "20201110",
								"prchCondInfo": "||||||",
								"lowestPrcScrnTpList": "",
								"exchangeRateInfo": "",
								"modelCreTpCd": "",
								"mpTp": "1",
								"overseaTp": "0",
								"saleTp": "0",
								"prodTp": "1",
								"wdTp": "0",
								"wdNm": "",
								"comNm": "",
								"imgSz": "1000x1000",
								"isChnlPnt": "",
								"chnlSeq": "100267387",
								"mnQry": "enjoypanda",
								"demoBM": "34816",
								"mallInfo": "0",
								"isMisImg": "0",
								"coordiScr": "0",
								"isCoordiCtg": "1",
								"isAddExps": "",
								"dlvryCd": "2",
								"dlvryCont": "3000||오늘출발^11:30^택배^^^^3000^6000^^",
								"isAdult": "0",
								"isAdultExpsRstct": "0",
								"videoId": "",
								"hasVideo": "0",
								"gdid": "00000009_0013077a1498",
								"deliveryFeeContent": "3000",
								"diffDeliveryFeeContent": "",
								"hasDeliveryFeeContent": "0",
								"eventContent": "",
								"hasEventContent": "0",
								"couponContent": "30040원^^^100",
								"hasCouponContent": "1",
								"cardContent": "",
								"hasCardContent": "0",
								"buyPointContent": "^498^498^^^0^0",
								"hasBuyPointContent": "1",
								"simImgSgntCount": "1",
								"mblSimImgSgntCnt": "1",
								"imgColorCd": "20481",
								"imgSgnt": "7717750556559274676711363840",
								"imgVersion": "8",
								"lowPriceByMallNo": "",
								"shopNNo": "788563",
								"newNormHit2": "0.4431",
								"dummy": "",
								"lowMallList": null,
								"mallInfoCache": {
									"seq": "788563",
									"prodCnt": "261",
									"name": "ENJOY PANDA",
									"bizplBaseAddr": "경기도 용인시 수지구 문인로 59 (동아.삼익.풍림아파트) 108동 1502호 (우 : 16830) ",
									"bizplDtlAddr": null,
									"businessNo": "4162451132",
									"onmktRegisterNo": "2018-용인수지-0626",
									"mallIntroduction": "세상의 즐거움을 판다",
									"mallLogos": {
										"REPRESENTATIVE": "https://shop-phinf.pstatic.net/20181228_251/gulliver012@naver.com_15459241027583x5Ld_JPEG/69231262378076613_1356613941.jpg",
										"FORYOU": "https://shopping-phinf.pstatic.net/20201109_28/d4a8ad81-26f9-4161-a123-531b7de8ab53.jpg"
									},
									"mallGrade": "M44003",
									"goodService": false,
									"talkAccountId": "wcdf3f",
									"eventScheduledCont": null,
									"adsrType": "SHOPN",
									"naverPay": true
								},
								"channelInfoCache": {
									"talkAccountId": "wcdf3f"
								},
								"crUrl": "https://cr.shopping.naver.com/adcr.nhn?x=fVglaMHvdgsMHYa9YJ131v%2F%2F%2Fw%3D%3DsT7Udy1UlbUo7qZ2fQPU73tZnuOMvwbHjISqv5ZWTAaywZeGnRgxnttveusjCcK4G7Kc4PqrwJF7qpLdYpcebFrsKQcnJ%2FJg9q37EThn39%2FPxzCfgaz5AZYoa5lPOiE0PX%2FMYwzHyPGCfaSzuR4SGA0uG%2FicFY3q9hGdjro9%2BnxQB%2BDfAyHyck2zRNsUR%2BFOEEqHbtm0Tg1to3Ff%2BjMptj2OCn0WJTO%2Fs0ym%2BnDVvCZfL%2Fowdnq7%2Fmfq67OVRzok0S5SJNLgIdS1XFCtZ5GETGNnavjW6D0OfMQK%2Fqu6WpzjjquHTbqw8MjgGZTCZ%2BtfUBb4JYLQV1GmAjQsWIhn8V%2F394Vj4cFxcdd%2FerfyIWWiMHn7BDBNaqXNmoKbAeTMvPVJgJF6wSYLCn1JftDpQvgDFOvcyLeZpoisExYu4%2F1rVB9bvlW48JJmeZr9%2BYKbBRDk%2FEZh%2F%2FdO4c%2FQLkd6hl7KplVynfEPZjUiAXsQ7U82WnZnAweq%2B%2B%2FV9uSkScRX%2BIlQXSCJ7gcvPdL52n9S1H4XYPAsRDenUA2y7iB0MhobUYQFGQSvtfMkDx8rp9K8q4%2FIvCLpcbTBVuQqlcTYf5F9XC7T4eYqQ%2BAdhynhFUPW355Mdu%2BBHBxwhnYs23GdoaGimR4pR27mrh1IoDTOSgA%3D%3D&nvMid=81729819800&catId=50000835",
								"crUrlMore": "https://cr.shopping.naver.com/adcr.nhn?x=7UXokPeTy7dAQXfP3DgQQv%2F%2F%2Fw%3D%3DsslEfMMm3codlDFyIASOjqqi%2BLBQ7UGp9L%2BsHABbmGXpLVSlAW5fWUPF%2Bxeno1sOrUxana%2FDyof6sNMyhcLDTi%2Bt7ZsVUZ%2BndCF3Ym3%2F4KRSOuHGPyXtEeLz8ccDcAe092M3yhuL7EojkjtlKdOo6ALuVw3GdaDAvxDSjC3cnt2Z%2F22ms%2BW8TiQQNz%2FOHMMFFx6mdGA9u%2F7sC4Gm3DLFFoMdx3THmt2Ua1AyfuwjnkOgvzrB%2F8Mq8q5FCHpxe4gmFyLfRC0o%2FWYDsFhk%2BnF4ktzVCZ4rdk8hPModxsSdH4jxuoBgOhf05ZLKHYY%2FpyXzXaND5BdiqU5%2BXatyMvWqJBX%2BUucnAxrsG3xHb9QOpCsJrR6puFRwx1J4Q4na%2BuwxM%2Fgmn9UWZ08Lu4vkhY3i2SBBYlbe18EfHbpSZmErndiyfLB440SYO1Cnk2bZ9BBPMrRsw2T1COAB3adgWpOQwMLTdcfGoFDbEgjZ9Qvt%2Fw50u%2FC86tDTe8A7VZgPIsttfLpZWN8skLy7TACK%2FKVvF9RrMKwZ6k3Cnv%2FmFpKn6BYPnlfMTIBWjuKvu5954syqo1g13VDxd5QBEZGpRgYgS%2BJw2pu7UAGtr%2BOajr5K2lK99Y9s3NC3X30JyNTTwr4NHAqFYP8YZgDWVRhWoVvk9uwN%2BQsjK6V0FLd%2Fybx7qcubNSE3OzZUT76KyqzckASmm&nvMid=81729819800&catId=50000835"
							},
							"type": "product"
						},
						,.....
}

 

 

 

2.스마트스토어 크롤링

URL: https://smartstore.naver.com/themineral/products/3967584267?

컬럼 스탭1컬럼 스탭2비고

smartStore.channel      
  mallSeq 쇼핑몰 ID 네이버쇼핑 mallNo, mallInfoCache.seq 와 동일값
  representName 쇼핑몰 상호명  
  identity 사업자 등록번호  
  representativeName 대표자 이름  
  businessAddressInfo.address 쇼핑몰 주소  
  chrgrEmail 쇼핑몰 이메일  
  representTelephoneNumber 쇼핑몰 고객센터 번호  

 

{
		"smartStore": {
		"channel": {
			"id": 500079743,
			"channelServiceType": "STOREFARM",
			"channelExternalStatusType": "NORMAL",
			"channelName": "The Mineral",
			"url": "themineral",
			"representImageInfoList": [
				{
					"imageUrl": "https://shop-phinf.pstatic.net/20150701_216/wondevil_1435684662386Cka0c_JPEG/eaf1e86a-26ca-45c4-a1ab-f6b7d01de731.JPG",
					"imageClass": "STORE_REPRESENTATIVE",
					"width": 160,
					"height": 160,
					"fileSize": 10128,
					"sortOrder": 0,
					"representative": false
				}
			],
			"talkAccountId": "wc8bxo",
			"talkExposureYn": true,
			"description": "저희는 국내매장 정품만 취급합니다.",
			"contactInfo": {
				"displayTelNo": true,
				"disabledDomesticTelNo": false,
				"telNo": {
					"countryCode": "KOR",
					"phoneNo": "01091692772",
					"formattedNumber": "010-9169-2772"
				},
				"overseaTelNo": {
					"countryCode": "KOR",
					"phoneNo": "",
					"formattedNumber": ""
				},
				"onlineSales": false,
				"offlineSales": false
			},
			"representType": "DOMESTIC_BUSINESS",
			"identity": "1313721095",
			"representName": "Won군",
			"representativeName": "원정섭",
			"businessType": "PRIVATE",
			"declaredToOnlineMarkettingNumber": "2015-인천남동구-0102",
			"businessAddressInfo": {
				"address": "405-260 인천광역시 남동구 서창남로 2 인천서창LH12단지 1212동 804호",
				"basicAddress": "인천광역시 남동구 서창남로 2 ",
				"detailAddress": "1212동 804호",
				"fullAddressInfo": "인천광역시 남동구 서창남로 2  인천서창LH12단지 1212동 804호 (우 : 405-260) ",
				"hasJibunAddress": true,
				"hasRoadNameAddress": false,
				"jibunAddress": "인천서창LH12단지",
				"oldZipCode": "405-260",
				"overseas": false,
				"zipCode": "405-260"
			},
			"accountNo": 500079743,
			"accountId": "wondevil",
			"mallSeq": 269716,
			"naverAccountId": "s_4b489fabbb0a4bc1",
			"storeExposureInfo": {
				"exposureInfo": {
					"NAVERBLOG": [
						"wondevil"
					],
					"INSTAGRAM": [
						"the_mineral7"
					]
				}
			},
			"chrgrEmail": "wondevil@naver.com",
			"naverPayNo": 500079743,
			"payReferenceKey": "500079743",
			"actionGrade": "SECOND",
			"serviceSatisfactionGrade": false,
			"saleCount": 3383,
			"csResponseRatio": 1,
			"in2DaysDeliveryCompleteRatio": 0.44,
			"averageSaleSatificationScore": 4.71,
			"naSiteId": "s_4b489fabbb0a4bc1",
			"naverAnalytics": "1559182310e941c",
			"representativeImageUrl": "https://shop-phinf.pstatic.net/20150701_216/wondevil_1435684662386Cka0c_JPEG/eaf1e86a-26ca-45c4-a1ab-f6b7d01de731.JPG",
			"isBusiness": true,
			"representTelephoneNumber": "010-9169-2772",
			"isDomesticPhoneNumber": true,
			"domesticTelephoneNumberReported": false,
			"isDomesticTelephoneNumberReportable": true,
			"domesticTelephoneNumberCertified": true,
			"plopYn": false,
			"productAuthCategoryTypes": [],
			"representativeBirthDay": "1982-09-05T15:00:00.000+0000",
			"brandStoreExhibitionYn": false,
			"brandStoreName": "The Mineral",
			"brandUrl": "themineral",
			"brandCatalogUseYn": false
		},
}

 

반응형

- 비동기 (Asynchronous: 동시에 일어나지 않는, 非同期: 같은 시기가 아닌)

비동기란 말 그대로 동시에 일어나지 않는다는 의미한다.

즉, 요청과 결과가 동시에 일어나지 않아 바로 결과가 주어지지 않고 나중에 처리된다

 

- 동기 (synchronous: 동시에 일어나는, 同期: 같은 시기)

동기란 비동기와 반대로 동시에 일어난다는 말한다. 따라서 요청과 그 결과가 동시에 일어나서 

요청을 하면 바로 그 요청한 자리에서 결과가 주어지며

시간이 얼마가 걸리든 상관 안하고 요청한 그 자리에서 결과를 주겠다는 약속같은 것이다.

즉, 요청과 결과가 한자리에서 동시에 일어난다

 

* 이렇게 동기와 비동기를 구분하는 이유는

동기와 비동기를 굳이 구분하는 이유는 상황에 따라서 장단점이 있기 때문인데

동기방식은 매우 설계가 간단하고 직관적이지만, 결과가 주어질 때까지 아무것도 못하고 대기해야 하는 단점이있고

비동기방식은 좀더 복잡하지만 결과가 주어지는 시간이 길어져도 그 시간 동안 다른 작업을 할 수 있으므로 좀더 효율적으로 자원을 사용할 수 있는 장점이있다

 

- 블로킹(Blocking)

블로킹은 말 그대로 작업이 중단된다는 의미. 네트워크 통신에서 요청이 발생하고 완료될 때까지 모든 일을 중단한 상태로 대기해야 하는 것을 블로킹 방식이라 한다.

(블로킹 방식의 소켓통신은 결과가 올 때까지 다른 작업을 중단하고 하염없이 기다리게 됨)

 

- 논블로킹(Non-blocking)

논블러킹은 말 그대로 중단되지 않는다는 말. 통신이 완료 될 때까지 중단되는 블로킹의 반대 개념이다.

논블로킹 방식은 아무래도 통신이 완료될 때까지 기다리지 않고 다른 작업을 수행할 수 있으므로 경우에 따라 효율이나 반응속도가 더 뛰어나다.

 

'JAVA' 카테고리의 다른 글

Kafka  (0) 2021.02.24
RestTemplate VS WebClient  (0) 2021.02.24
JAVA11  (0) 2019.10.04
Oracle JDK 라이센스 전환  (0) 2019.10.04
NAVER Search Ad - ADExtensions  (0) 2019.08.13
반응형

1. 문제 발생

위와 같은 해당 문제는 1번 서버에는 발생되지않았지만 real서버에서 발생되었습니다.

Spring Boot 2.0.4 → 2.3.4 버전 고도화를 하면서 AJP 생성시 LISTEN 생성시 ::ffff:127.0.0.1:8003 로컬에서만 연결될수있도록 형식으로 변경됩니다.

이전) :::8003 : 모든 IP에 포트를 열어주는 형식입니다.

Apache ajp 통신시 설정은 이상없지만 통신이 안되는 현상이 발견됨.

해당 부분 apache 설정에는 문제가 없었습니다.

 

2.조치방안

해당 apache 설정파일인 httpd.conf, httpd-ssl.conf 파일의 <VirtualHost>의 순서를 아래로 변경해줬을 경우 정상적으로 AJP 통신을 하는것을 확인하였습니다.

  • 순서변경으로 다른 service가 통신이 안되는 현상은 없었습니다.

원인에 대해선 1번 서버의 apache와 특정 서버의 apache가 version(2.4.27) 은 동일하였으며

Alpha서버에서는 정상적으로 되었지만 특정서버에서 이러한 현상이 이루어지면 순서를 변경해주시면 될것 같습니다.

'Server' 카테고리의 다른 글

Mac 단축키 변경  (0) 2021.08.24
patch.sh 스크립트 작성  (0) 2021.02.19
cat , tail 명령어 정리  (0) 2019.09.16
리눅스 Tar 압축, 풀기  (0) 2016.08.09
쉘 스크립트 FOR 사용법  (0) 2015.12.07

+ Recent posts

티스토리툴바